画像処理装置、画像処理方法、画像処理プログラム、画像処理プログラムを記録した記録媒体
【課題】辺を有する被写体を撮像した撮像画像において当該被写体の像の一部が欠けている場合、かつ、被写体が文書画像でない場合でも、補正度合いを手動で調整することなく被写体の歪み補正を行う。
【解決手段】画像処理装置１０は、被写体を撮像した撮像画像から、被写体の像の輪郭に含まれる線分である輪郭線分を抽出した線分画像を生成する線分抽出部１４と、線分抽出部１４が生成した線分画像に仮想的な線分である仮想線分を少なくとも１本挿入し、挿入した仮想線分および輪郭線分の集合から４本の線分を選択し、その４本の線分をそれぞれ含む４本の直線によって囲まれる四辺形を特定する四辺形候補算出部１５と、四辺形候補算出部１５が特定した四辺形に基づいて撮像画像の透視変換歪みを補正する画像補正部１７とを備えている。
【解決手段】画像処理装置１０は、被写体を撮像した撮像画像から、被写体の像の輪郭に含まれる線分である輪郭線分を抽出した線分画像を生成する線分抽出部１４と、線分抽出部１４が生成した線分画像に仮想的な線分である仮想線分を少なくとも１本挿入し、挿入した仮想線分および輪郭線分の集合から４本の線分を選択し、その４本の線分をそれぞれ含む４本の直線によって囲まれる四辺形を特定する四辺形候補算出部１５と、四辺形候補算出部１５が特定した四辺形に基づいて撮像画像の透視変換歪みを補正する画像補正部１７とを備えている。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像処理装置に関し、特に、画像の歪みを補正する画像処理装置に関する。
【背景技術】
【０００２】
カメラを用いて被写体を斜め方向から見上げて撮像すると、カメラから遠い被写体の部分が小さく歪む、いわゆるアオリが生じる。特開平８−１６３４２７号公報（以下、特許文献１）に記載の「撮像装置」では、小さく歪んだ部分を画像処理により広げることでアオリが補正される。
【０００３】
一方、デジタルカメラの普及に伴い、紙面などの書類、展示会でのポスター、観光地の案内図、会議などで使用された白板や黒板を撮像してデジタルデータとして利用する方法が広がりつつある。撮像データとしては被写体を正面から撮像したものが内容確認の容易さの観点からは望ましい。また、撮像データからＯＣＲ（光学文字読取装置）で文字を読み取る場合にも正面から撮像したものが認識精度向上の観点からは望ましい。
【０００４】
しかし、被写体の配置などの物理的制約により正面から撮像できない場合がある。また、光源の方向などにより正面以外から撮像した方が良い場合もある。これらの場合、撮像データでは被写体の像が歪むため、内容確認やＯＣＲでの文字読み取りが困難になる。特開２００４−４０３９５号公報（以下、特許文献２）に記載の「画像歪み補正装置」では、撮像画像中の歪んだ被写体の像から、被写体の像の元の縦横比と射影パラメータとが算出され、それらを用いて撮像画像の歪みが補正される。また、特開２００８−２５７７１３号公報（以下、特許文献３）に記載の「透視変換歪み発生文書画像補正装置」では、文書画像から検出したラインセグメントを用いて撮像画像の歪みが補正される。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平８−１６３４２７号公報（１９９６年６月２１日公開）
【特許文献２】特開２００４−４０３９５号公報（２００４年２月５日公開）
【特許文献３】特開２００８−２５７７１３号公報（２００８年１０月２３日公開）
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に記載の装置では、歪みの補正度合いを装置の使用者が手動で調整しなければならず、また、被写体の像の縦横比は復元されない。一方、特許文献２に記載の装置では、被写体の像が撮像面に収まっている必要があるが、ビルやスケジュールボードのような細長い被写体を撮像面に収めることは困難である。また、特許文献３に記載の装置では、被写体が文書画像に限られるため、白板や案内図などラインセグメントを検出できない被写体に対しては歪みを補正できない。
【０００７】
本発明はこのような問題に鑑みてなされたものであって、被写体を撮像した撮像画像において当該被写体の像の一部が欠けている場合、かつ、被写体が文書画像でない白板などの場合でも、補正度合いを手動で調整することなく被写体の像の歪み補正を行うことのできる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る画像処理装置は、上記の課題を解決するために、被写体を撮像した撮像画像から、上記被写体の像の輪郭に含まれる線分である輪郭線分を抽出した線分画像を生成する線分画像生成部と、上記線分画像生成部が生成した線分画像に仮想的な線分である仮想線分を少なくとも１本挿入し、挿入した仮想線分および上記輪郭線分の集合から４本の線分を選択し、その４本の線分をそれぞれ含む４本の直線によって囲まれる四辺形を特定する四辺形特定部と、上記四辺形特定部が特定した四辺形に基づいて上記撮像画像の透視変換歪みを補正する画像補正部とを備えることを特徴としている。
【０００９】
本発明に係る画像処理方法は、上記の課題を解決するために、画像処理装置における画像処理方法であって、被写体を撮像した撮像画像から、上記被写体の像の輪郭に含まれる線分である輪郭線分を抽出した線分画像を生成する線分画像生成工程と、上記線分画像生成工程において生成した線分画像に仮想的な線分である仮想線分を少なくとも１本挿入し、挿入した仮想線分および上記輪郭線分の集合から４本の線分を選択し、その４本の線分をそれぞれ含む４本の直線によって囲まれる四辺形を特定する四辺形特定工程と、上記四辺形特定工程において特定した四辺形に基づいて上記撮像画像の透視変換歪みを補正する画像補正工程とを含むことを特徴としている。
【００１０】
上記の構成によれば、線分画像生成部は、被写体を撮像した撮像画像から被写体の像の輪郭を抽出する。そして線分画像生成部は、抽出した輪郭に含まれる線分（２点で区切られる直線の部分）である輪郭線分を抽出することにより、輪郭線分を示す線分画像を生成する。
【００１１】
なお、上記被写体として、互いにほぼ平行な線分の組をその外縁に２組含み、それら線分の組が互いになす角度がほぼ直角であるもの（例えば、長方形または正方形の面を有する被写体）を想定している。また、撮像画像に含まれる被写体の像として、少なくとも２辺を有するものを想定している。
【００１２】
四辺形特定部は、生成された線分画像に仮想線分を少なくとも１本挿入し、挿入した仮想線分および線分画像に含まれる輪郭線分の集合から４本の線分を選択し、その４本の線分をそれぞれ含む４本の直線によって囲まれる四辺形を特定する。この処理によって、撮像画像に含まれる被写体の像の一部が欠落していても、仮想線分によってその欠落部分を補うことができ、被写体の像の外縁を形成する４辺を仮想的に形成することができる。
【００１３】
画像補正部は、四辺形特定部が特定した四辺形に基づいて撮像画像の透視変換歪みを補正する。例えば、画像補正部は、四辺形特定部が特定した四辺形の４角が直角となるように、かつ当該四辺形に対応する被写体の像の縦横比と同じ縦横比を当該四辺形が有するように当該四辺形を補正することで撮像画像の透視変換歪みを補正する。
【００１４】
それゆえ、撮像画像に含まれる被写体の像の一部が欠落している場合でも、被写体の像が文書でない場合でも、撮像画像の透視変換歪みを適切に補正することができる。
【００１５】
また、上記四辺形特定部は、上記線分画像の外縁を形成する四辺のうちの少なくとも一辺に沿ってまたは当該一辺に重なるように上記仮想線分を挿入することが好ましい。
【００１６】
上記の構成により、撮像画像に含まれる被写体の像の欠落部分を効率良く補うことができる。なお、仮想線分は、所定の長さのものでよく、その長さは特に限定されない。
【００１７】
また、上記四辺形特定部は、上記線分画像の外縁を形成する四辺のそれぞれに対して上記仮想線分を挿入することが好ましい。
【００１８】
上記の構成により、撮像画像に含まれる被写体の像のどの部分が欠落しているかについての情報が得られない場合でも確実に欠落部分を補うことができる。
【００１９】
また、上記画像処理装置は、上記仮想線分の挿入位置を示す挿入位置情報を使用者から受け付ける挿入位置情報取得部をさらに備え、上記四辺形特定部は、上記挿入位置情報取得部が取得した挿入位置情報が示す挿入位置に上記仮想線分を挿入することが好ましい。
【００２０】
上記の構成によれば、挿入位置情報取得部は、仮想線分の挿入位置を示す挿入位置情報を使用者から受け付け、四辺形特定部は、挿入位置情報が示す挿入位置に仮想線分を挿入する。
【００２１】
それゆえ、撮像画像に含まれる被写体の像の欠落部分を確実に補うことができるとともに不要な仮想線分を挿入することを避けることができ、四辺形を特定するための処理量を低減できる。
【００２２】
また、上記画像処理装置は、上記撮像画像における上記被写体の像が、当該撮像画像の外縁を形成する四辺のいずれと接しているかを判定する判定部をさらに備え、上記四辺形特定部は、上記判定部が判定した辺に沿って、または当該辺に重なるように上記仮想線分を挿入することが好ましい。
【００２３】
上記の構成によれば、判定部は、撮像画像における被写体の像が、当該撮像画像の外縁を形成する四辺（外縁辺）のいずれと接しているかを判定する。この処理により、被写体の像の欠落が、撮像画像のどの外縁辺において生じているのかを判定することができる。外縁辺と接している被写体の像の部分において、当該被写体の像が欠落している可能性が高いからである。
【００２４】
それゆえ、使用者から撮像画像の欠落部分を示す情報を取得しなくても、撮像画像の欠落部分の位置を判定することができ、適切な位置に仮想線分を挿入することができる。
【００２５】
また、上記画像処理装置は、上記四辺形特定部が特定した四辺形が有する、上記仮想線分を含む辺が、対向する辺と平行になるように当該仮想線分を含む辺の位置を変更する四辺形整形部をさらに備え、上記画像補正部は、上記四辺形整形部が整形した四辺形に基づいて上記撮像画像の透視変換歪みを補正することが好ましい。
【００２６】
上記の構成によれば、四辺形整形部は、四辺形特定部が特定した四辺形が有する、仮想線分を含む辺（換言すれば、仮想線分によって形成されている辺）が、対向する辺と平行になるように当該仮想線分を含む辺の位置を変更する。そして、画像補正部は、四辺形整形部が整形した四辺形に基づいて撮像画像の透視変換歪みを補正する。
【００２７】
それゆえ、被写体の像が、撮像画像の外縁に対して回転している場合でも、画像の補正に用いる四辺形を適切に得ることができる。
【００２８】
また、上記画像処理装置は、上記四辺形特定部が上記四辺形を複数特定した場合に、各四辺形に含まれる輪郭線分および仮想線分の長さを基準として、特定された複数の四辺形を順位付ける順位付け部をさらに備えることが好ましい。
【００２９】
上記の構成によれば、四辺形特定部が四辺形を複数特定した場合に、順位付け部によって、それらの四辺形が順位付けられる。この順位付けは、各四辺形に含まれる輪郭線分および仮想線分の長さを基準として行われる。例えば、各四辺形に含まれる線分の長さの合計が大きい順に四辺形を順位付ける。
【００３０】
それゆえ、四辺形特定部によって四辺形が複数特定された場合でも、撮像画像の補正に用いる補正用四辺形として適切な順に四辺形を順位付けることができる。その後、最も順位の高い四辺形を補正用四辺形として用いてもよいし、順位に従って複数の四辺形を使用者に提示してもよい。
【００３１】
また、上記四辺形特定部は、上記輪郭線分および上記仮想線分の長さと正の相関のある値を上記四辺形の評価値として用い、上記仮想線分の単位長さに対する評価値は、上記輪郭線分の上記単位長さに対する評価値よりも小さいことが好ましい。
【００３２】
上記の構成によれば、四辺形特定部が用いる四辺形の評価値は、輪郭線分および仮想線分の長さと正の相関のあるものである。すなわち、線分の長さが大きくなれば、その線分を含む四辺形の評価値は大きくなる。また、仮想線分の単位長さに対する評価値は、輪郭線分の単位長さに対する評価値よりも小さく設定されている。
【００３３】
被写体の像の輪郭から抽出される輪郭線分の長さは、被写体の像が部分的に歪んだり、被写体の像のコントラストが小さいために輪郭線分が断片化したりすることにより、短くなることがある。これに対して、仮想線分は、所定の長さを有するものであり、この所定の長さが長い場合には、統計的に輪郭線分の長さよりも仮想線分の長さが長くなることが考えられる。
【００３４】
仮想線分の単位長さに対する評価値を、輪郭線分の単位長さに対する評価値よりも小さく設定することにより、不要な仮想線分が挿入され、その仮想線分を含む四辺形が特定された場合に、当該四辺形の評価値を小さくすることができる。
【００３５】
また、上記画像処理方法における各工程をコンピュータに実行させるための画像処理プログラム、当該画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体も本発明の技術的範囲に含まれる。
【発明の効果】
【００３６】
以上のように、本発明に係る画像処理装置は、被写体を撮像した撮像画像から、上記被写体の像の輪郭に含まれる線分である輪郭線分を抽出した線分画像を生成する線分画像生成部と、上記線分画像生成部が生成した線分画像に仮想的な線分である仮想線分を少なくとも１本挿入し、挿入した仮想線分および上記輪郭線分の集合から４本の線分を選択し、その４本の線分をそれぞれ含む４本の直線によって囲まれる四辺形を特定する四辺形特定部と、上記四辺形特定部が特定した四辺形に基づいて上記撮像画像の透視変換歪みを補正する画像補正部とを備える構成である。
【００３７】
本発明に係る画像処理方法は、画像処理装置における画像処理方法であって、被写体を撮像した撮像画像から、上記被写体の像の輪郭に含まれる線分である輪郭線分を抽出した線分画像を生成する線分画像生成工程と、上記線分画像生成工程において生成した線分画像に仮想的な線分である仮想線分を少なくとも１本挿入し、挿入した仮想線分および上記輪郭線分の集合から４本の線分を選択し、その４本の線分をそれぞれ含む４本の直線によって囲まれる四辺形を特定する四辺形特定工程と、上記四辺形特定工程において特定した四辺形に基づいて上記撮像画像の透視変換歪みを補正する画像補正工程とを含む構成である。
【００３８】
それゆえ、撮像画像に含まれる被写体の像の一部が欠落している場合でも、被写体の像が文書でない場合でも、撮像画像の透視変換歪みを適切に補正することができるという効果を奏する。
【図面の簡単な説明】
【００３９】
【図１】本発明の一実施形態に係る画像処理装置の構成を示すブロック図である。
【図２】本発明の一実施形態に係るデジタルカメラの機能を説明するための図である。
【図３】本発明の一実施形態に係るデジタルカメラの構成を示すブロック図である。
【図４】（ａ）は撮像画像の一例を示す図であり、（ｂ）は（ａ）に示す撮像画像から生成したエッジ画像を示す図である。
【図５】上記画像処理装置における処理の流れの一例を示すフローチャートである。
【図６】上記画像処理装置が備える輪郭抽出部における処理の流れの一例を示すフローチャートである。
【図７】（ａ）は輪郭抽出部が生成したエッジ画像の一例を示す図であり、（ｂ）は（ａ）に示すエッジ画像から生成した線分画像を示す図である。
【図８】（ａ）はエッジ画像のｘｙ座標系における点Ａおよび点Ｂの位置を示すグラフであり、（ｂ）はｘｙ座標系の（ｘ，ｙ）座標を極座標系の座標（ρ，θ）に変換したときの点Ａおよび点Ｂに対応する曲線を示すグラフである。
【図９】ハフ変換における投票を示す図である。
【図１０】上記画像処理装置が備える線分抽出部おける処理の流れの一例を示すフローチャートである。
【図１１】仮想線分を４本挿入した線分画像を示す図である。
【図１２】上記画像処理装置が備える四辺形候補算出部における処理の流れの一例を示すフローチャートである。
【図１３】四辺形候補の４辺を形成する直線を示す図である。
【図１４】四辺形が凸型であるかどうかを判定する方法を説明するための図である。
【図１５】（ａ）〜（ｄ）は、被写体の像が撮像画像に収まっていない場合の撮像画像の例を示す図である。
【図１６】四辺形候補の評価値を説明するための図である。
【図１７】（ａ）および（ｂ）は、評価値の異なる四辺形候補の具体例を示す図である。
【図１８】仮想線分の評価値を小さくすることの意義を説明するための図である。
【図１９】撮像画像および四辺形候補のモニタにおける表示例を示す図である。
【図２０】操作ボタンの一例を示す図である。
【図２１】透視変換における物体の位置関係を示す図である。
【図２２】（ａ）は補正後の画像の一例を示す図であり、（ｂ）は補正前の画像に含まれる四辺形の一例を示す図である。
【図２３】上記画像処理装置が備える画像補正部における処理の流れの一例を示すフローチャートである。
【図２４】本発明の別の実施形態に係る画像処理装置が備える四辺形候補算出部における処理の流れの一例を示すフローチャートである。
【図２５】（ａ）は辺の位置を補正する前の四辺形を示す図であり、（ｂ）は辺の位置を補正した後の四辺形を示す図である。
【図２６】四辺形候補算出部における辺補正処理の流れの一例を示すフローチャートである。
【図２７】本発明のさらに別の実施形態にかかる画像処理装置が備える四辺形候補算出部における処理の流れの一例を示すフローチャートである。
【図２８】（ａ）は仮想線分を選択するときのモニタの表示画面の一例を示す図であり、（ｂ）は右端の仮想線分が選択されたときのモニタの表示画面を示す図である。
【図２９】仮想線分の挿入位置を入力するための操作ボタンの一例を示す図である。
【図３０】本発明のさらに別の実施形態に係る画像処理装置の構成を示すブロック図である。
【図３１】上記画像処理装置が備える挿入位置判定部における処理の流れの一例を示すフローチャートである。
【図３２】（ａ）および（ｂ）は、挿入位置判定部における挿入位置判定処理を説明するための図である。
【図３３】本発明のさらに別の実施形態に係るコンピュータの構成を示す図である。
【発明を実施するための形態】
【００４０】
〔実施の形態１〕
本発明の実施の一形態について図１〜図２３に基づいて説明すれば、以下のとおりである。ここでは、本発明の画像処理装置をデジタルカメラで実施する形態を説明する。ただし、本発明の画像処理装置は、デジタルカメラに限定されず、内蔵する撮像装置または外部の装置から撮像画像データを取得し、その撮像画像データを処理する装置（例えば、スキャナー、プリンター、携帯電話）であれば、どのような装置であってもよい。
【００４１】
（１．デジタルカメラ１００の機能の説明）
図２は、本実施の形態のデジタルカメラ１００の機能を説明するための図である。デジタルカメラ１００で白板１１０を斜め方向から撮像すると、撮像画像１１１における白板の像１１２は歪む。また、スケジュールボードなどの被写体が大きい場合は被写体の像一部が撮像画像に収まらない場合がある。歪んだ撮像画像をデジタルカメラ１００により補正すると補正後画像１１３のような歪みのない白板の像１１４を含む画像が得られる。特に、被写体の像一部が撮像画像に収まらない場合においても歪みのない画像が得られる。
【００４２】
（２．デジタルカメラ１００の構成）
図３は、デジタルカメラ１００の構成を示す図である。同図に示すように、デジタルカメラ１００は、光学系１、イメージセンサ２、メモリ３、カードリーダライタ４、ＣＰＵ（中央処理装置）５、操作ボタン６、モニタ（表示部）７および画像処理装置１０を備えている。
【００４３】
光学系１は、被写体の像をイメージセンサ２の撮像面上に結像するためのレンズ（不図示）と、当該レンズの焦点を調節するレンズ駆動機構（不図示）とを備えている。光学系１は、撮像画像を撮像したときの焦点距離を示す焦点距離情報をＣＰＵ５へ出力する。
【００４４】
イメージセンサ２は、複数のセンサがマトリクス状に配列された撮像面を有する撮像素子であり、光学系１を通して撮像面上に結像された被写体の光学的な像を画像信号に変換する。イメージセンサ２として、例えばＣＣＤ（Charge Coupled Devices）イメージセンサ、ＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）イメージセンサを使用することができる。イメージセンサ２は、生成した撮像画像をメモリ３に格納する。
【００４５】
メモリ３は、撮像画像および補正後の撮像画像（補正後画像）などを格納するための記憶部であり、例えば、半導体メモリである。
【００４６】
カードリーダライタ４は、メモリカード３０に対して、撮像画像および補正後画像を読み書きする。
【００４７】
ＣＰＵ５は、デジタルカメラ１００の主制御部であり、光学系１とイメージセンサ２とを制御することにより被写体を撮像し、その撮像画像をメモリ３に格納するとともにモニタ７に表示する。同時に、ＣＰＵ５は、撮像画像と、当該撮像画像を撮像したときの焦点距離とを互いに関連付けて画像処理装置１０に入力する。その後、ＣＰＵ５は、歪みのない補正後画像を画像処理装置１０から受け取り、メモリ３に格納するとともに、補正後画像をモニタ７に表示する。また、ＣＰＵ５は、カードリーダライタ４を制御することにより補正後画像をメモリカード３０に出力する。
【００４８】
別の場合には、ＣＰＵ５は、過去の撮像画像を、カードリーダライタ４を通してメモリカード３０から読み出し、メモリ３に格納するとともにモニタ７に表示する。同時に、ＣＰＵ５は、撮像画像と焦点距離とを画像処理装置１０に入力し、歪みのない補正後画像を出力として受け取り、メモリ３に格納する。ＣＰＵ５は、補正後画像をモニタ７に表示するとともにカードリーダライタ４を用いてメモリカード３０に出力する。
【００４９】
ズームなどにより焦点距離が変化する場合には、撮像した際に撮像画像データに焦点距離を埋め込んでおけばよい。通常、デジタルカメラの撮像画像データには撮像画像そのもののデータとともにＥｘｉｆと呼ばれる情報が埋め込まれており、Ｅｘｉｆに焦点距離を格納しておけばよい。
【００５０】
モニタ７は、撮像画像および補正後画像などを表示する表示部であり、例えば、液晶ディスプレイである。
【００５１】
操作ボタン６は、デジタルカメラ１００を操作する使用者からの指示を受け付ける指示入力部である。この操作ボタン６は、タッチパネルとして機能するモニタ７に表示されるソフトキーとして実現されてもよい。
【００５２】
（３．画像処理装置１０の構成）
図１は、画像処理装置１０の構成を示すブロック図である。同図に示すように、画像処理装置１０は、焦点距離入力部１１、画像入力部１２、輪郭抽出部（線分画像生成部）１３、線分抽出部（線分画像生成部）１４、四辺形候補算出部（四辺形特定部、順位付け部）１５、四辺形選択部１６、画像補正部１７および画像出力部１８を備えている。
【００５３】
焦点距離入力部１１は、撮像画像を撮像したときの焦点距離を示す焦点距離情報をＣＰＵ５から入力として受け取り、受け取った焦点距離情報を画像補正部１７へ出力する。
【００５４】
画像入力部１２は、イメージセンサ２が生成した撮像画像をＣＰＵ５から入力として受け取り、受け取った撮像画像を輪郭抽出部１３へ出力する。
【００５５】
輪郭抽出部１３は、図４（ａ）および（ｂ）に示すように、画像入力部１２から受け取った撮像画像４１から被写体の像の輪郭を抽出することによりエッジ画像４２を生成する。なお、図４（ａ）は、撮像画像の一例を示す図であり、図４（ｂ）は、図４（ａ）に示す撮像画像から生成したエッジ画像を示す図である。なお、エッジ画像とは、処理対象の画像（すなわち、撮像画像）において輝度値が急激に（不連続に）変化している点の列を示す画像であり、当該画像に含まれる被写体の像の境界を示す曲線または線分を示す画像である。
【００５６】
線分抽出部１４は、輪郭抽出部１３が生成したエッジ画像から被写体の像の輪郭に含まれる線分である輪郭線分を抽出し、当該輪郭線分を示す線分画像を生成する。
【００５７】
このように、輪郭抽出部１３および線分抽出部１４は、被写体を撮像した撮像画像から、被写体の像の輪郭に含まれる線分である輪郭線分を抽出した線分画像を生成する線分画像生成部として機能する。
【００５８】
四辺形候補算出部１５は、線分抽出部１４が生成した線分画像に仮想的な線分である仮想線分を少なくとも１本挿入し、挿入した仮想線分および線分画像に含まれている輪郭線分の集合から４本の線分を選択し、その４本の線分をそれぞれ含む４本の直線によって囲まれる四辺形（四辺形候補）を特定する。
【００５９】
このとき四辺形候補算出部１５は、線分画像の外縁を形成する四辺のうちの少なくとも一辺に沿って（一辺に平行に）、または当該一辺に重なるように仮想線分を挿入する。挿入する仮想線分は、最低１本であるが、被写体の像の欠損部を確実に補うためには、線分画像の外縁を形成する四辺のそれぞれに対して仮想線分を挿入する（すなわち、４本の仮想線分を挿入する）ことが好ましい。この場合、四辺形候補算出部１５は、線分画像の外縁を形成する四辺のそれぞれに対して１本ずつ仮想線分を挿入する。
【００６０】
また、四辺形候補算出部１５は、四辺形候補を複数特定した場合に、各四辺形に含まれる輪郭線分および仮想線分の長さを基準として、特定された複数の四辺形候補を順位付ける。
【００６１】
四辺形選択部１６は、順位付けられた四辺候補をその順位に従ってモニタ７に表示し、複数の四辺形候補から撮像画像の補正に用いる四辺形（補正用四辺形）を使用者に選択させ、その補正用四辺形を特定する情報を使用者から受け付ける。
【００６２】
画像補正部１７は、使用者が選択した補正用四辺形に基づいて撮像画像の透視変換歪みを補正する。なお、画像補正部１７は、四辺形候補算出部１５が特定した四辺形候補が１つの場合には、その四辺形候補に基づいて撮像画像の透視変換歪みを補正する。
【００６３】
画像出力部１８は、画像補正部１７が補正した撮像画像（補正後画像）をＣＰＵ５へ出力する。この補正後画像は、モニタ７に表示されるとともにメモリ３に格納される。
【００６４】
（画像処理装置１０における処理の流れ）
次に画像処理装置１０における処理の大まかな流れについて説明する。各処理の詳細については後述する。なお、ここでは、仮想線分を４本挿入する場合の処理について説明する。
【００６５】
図５は、画像処理装置１０における処理の流れの一例を示すフローチャートである。まず、光学系１およびイメージセンサ２によって撮像画像が撮像されると、当該撮像が画像入力部１２に入力されるとともに、当該撮像画像を撮像したときの焦点距離を示す焦点距離情報が焦点距離入力部１１に入力される（ステップＳ１）。
【００６６】
画像入力部１２は、取得した撮像画像を輪郭抽出部１３へ出力する。一方、焦点距離入力部１１は、取得した焦点距離情報を画像補正部１７へ出力する。
【００６７】
輪郭抽出部１３は、画像入力部１２から撮像画像を受け取ると、受け取った撮像画像から被写体の像の輪郭を示すエッジ画像を生成する（ステップＳ２）。輪郭抽出部１３は、生成したエッジ画像を線分抽出部１４へ出力する。
【００６８】
線分抽出部１４は、受け取ったエッジ画像から被写体の像の輪郭に含まれる輪郭線分を抽出し、当該輪郭線分を示す線分画像を生成する（ステップＳ３）。線分抽出部１４は、生成した線分画像を四辺形候補算出部１５に出力する。
【００６９】
四辺形候補算出部１５は、受け取った線分画像の外縁を形成する四辺のそれぞれに沿って仮想線分を１ずつ挿入し、挿入した４本の仮想線分と線分画像に含まれる輪郭線分とを含む集合から４本の線分を選択し、選択した４本の線分をそれぞれ含む４本の直線によって囲まれる四辺形候補を算出する（ステップＳ４）。このとき四辺形候補算出部１５は、後述する条件を満たす四辺形候補を算出する。
【００７０】
そして、四辺形候補算出部１５は、算出した四辺形候補が複数存在する場合（ステップＳ５においてＹＥＳ）、各四辺形候補が有する輪郭線分および仮想線分の長さを基準として、複数の四辺形候補を順位付ける（ステップＳ６）。四辺形候補算出部１５は、順位付けした四辺形候補を示す情報を四辺形選択部１６へ出力する。
【００７１】
四辺形選択部１６は、順位付けられた四辺候補を撮像画像とともに順次モニタ７に表示することにより使用者に補正用四辺形を選択させ（ステップＳ７）、使用者が選択した補正用四辺形を特定する情報（補正用四辺形特定情報）を操作ボタン６を介して取得する（ステップＳ８）。四辺形選択部１６は、取得した補正用四辺形特定情報を画像補正部１７へ出力する。
【００７２】
一方、四辺形候補が１つしか存在しない場合（ステップＳ５においてＮＯ）、四辺形候補算出部１５は、その四辺形候補を特定する補正用四辺形特定情報を画像補正部１７へ出力する。
【００７３】
画像補正部１７は、四辺形候補算出部１５または四辺形選択部１６から出力された補正用四辺形特定情報が示す四辺形を用いて、透視変換の原理に従って撮像画像を補正する（ステップＳ９）。このとき画像補正部１７は、撮像画像から焦点距離を算出できない場合には、焦点距離入力部１１が取得した焦点距離情報を用いて撮像画像の補正を行う。
【００７４】
画像出力部１８は、画像補正部１７が補正した撮像画像をＣＰＵ５へ出力する（ステップＳ１０）。
【００７５】
なお、輪郭抽出部１３および線分抽出部１４は、生成したエッジ画像、線分画像を画像処理装置１０の各部が共通して利用可能なメモリに格納し、その画像を必要とする機能ブロックが当該メモリから当該画像を取得してもよい。
【００７６】
（輪郭抽出部１３における処理の詳細）
図６は、輪郭抽出部１３における処理の流れの一例を示すフローチャートである。最初に、輪郭抽出部１３は、画像入力部１２から受け取った撮像画像から輝度画像を生成する（ステップＳ１１）。輝度画像とは、撮像画像から輝度値の情報のみを抽出した画像であり、色情報を含まないモノクロ濃淡画像である。例えば、撮像画像の座標（ｘ，ｙ）のＲ（赤）、Ｇ（緑）、Ｂ（青）値（輝度値）がそれぞれｒ（ｘ，ｙ）、ｇ（ｘ，ｙ）、ｂ（ｘ，ｙ）であるとし、輝度画像の輝度をＬ値で表わすと、輝度画像の座標（ｘ，ｙ）の輝度値ｌ（ｘ，ｙ）は下記式（１）によって表わされる。
【００７７】
ｌ（ｘ，ｙ）＝ｃ１×ｒ（ｘ，ｙ）＋ｃ２×ｇ（ｘ，ｙ）＋ｃ３×ｂ（ｘ，ｙ） ・・・（１）
式（１）において、ｃ１、ｃ２、ｃ３は係数である。輝度画像を得るためには、例えばｃ１、ｃ２、ｃ３をすべて１／３としてＲ、Ｇ、Ｂ値の平均を取る。別の場合には、ｃ１＝０．２９９、ｃ２＝０．５８７、ｃ３＝０．１１４としてＹＵＶフォーマットのＹ値を算出してもよい。
【００７８】
次に、輪郭抽出部１３は、輝度画像からエッジ画像を生成する（ステップＳ１２）。エッジ画像を生成する手法としてはＳｏｂｅｌ、Ｐｒｅｗｉｔｔなどの画像処理フィルタを用いる方法がある。ここではＳｏｂｅｌフィルタを用いる方法を示す。Ｓｏｂｅｌフィルタはｘ、ｙ方向の輝度値の変化量である一次微分値からエッジ強度値を算出する。エッジ画像の座標（ｘ，ｙ）の値ｅ（ｘ，ｙ）は輝度画像の座標（ｘ，ｙ）の値ｌ（ｘ，ｙ）を用いて下記式（２ａ）、（２ｂ）、（２ｃ）によって表わされる。
Δｘ＝−１×ｌ（ｘ−１，ｙ−１）−２×ｌ（ｘ−１，ｙ）−１×ｌ（ｘ−１，ｙ＋１）＋１×ｌ（ｘ＋１，ｙ−１）＋２×ｌ（ｘ＋１，ｙ）＋１×ｌ（ｘ＋１，ｙ＋１） ・・・（２ａ）
Δｙ＝−１×ｌ（ｘ−１，ｙ−１）−２×ｌ（ｘ，ｙ−１）−１×ｌ（ｘ＋１，ｙ−１）＋１×ｌ（ｘ−１，ｙ＋１）＋２×ｌ（ｘ，ｙ＋１）＋１×ｌ（ｘ＋１，ｙ＋１） ・・・（２ｂ）
ｅ（ｘ，ｙ）＝（Δｘ×Δｘ＋Δｙ×Δｙ）１／２ ・・・（２ｃ）
ただし、ノイズを除去するためエッジの値ｅ（ｘ，ｙ）が所定の閾値よりも小さい場合は、ｅ（ｘ，ｙ）を０にする。
【００７９】
（線分抽出部１４における処理の詳細）
線分抽出部１４は、四辺形を抽出するための前処理として、図７（ａ）および（ｂ）に示すようにエッジ画像４２から線分を抽出し、線分画像４３を生成する。図７（ａ）は、輪郭抽出部１３が生成したエッジ画像の一例を示す図であり、図７（ｂ）は、図７（ａ）に示すエッジ画像から生成した線分画像を示す図である。線分抽出にはハフ変換を用いる。ハフ変換とはエッジ画像の座標（ｘ，ｙ）を極座標系の座標（ρ，θ）に変換することであり、下記式（３）によって座標（ｘ，ｙ）を（ρ，θ）に変換する。
【００８０】
ρ＝ｘｃｏｓθ＋ｙｓｉｎθ ・・・（３）
式（３）を図で示すと図８（ａ）および（ｂ）のようになる。図８（ａ）は、エッジ画像のｘｙ座標系における点Ａおよび点Ｂの位置を示すグラフであり、図８（ｂ）は、ｘｙ座標系の（ｘ，ｙ）座標を極座標系の座標（ρ，θ）に変換したときの点Ａおよび点Ｂに対応する曲線を示すグラフである。エッジ画像中の点Ａ、点Ｂは、極座標系ではそれぞれ１本の曲線に対応し、エッジ画像中の点Ａおよび点Ｂを通る直線は極座標系では２つの曲線の交点に対応する。ここで、ρはエッジ画像中の原点から直線への法線ベクトルの長さ、θは法線ベクトルとｘ軸が成す角度に相当する。ただし、θは０°≦θ＜１８０°であり、１８０°以上の範囲ではρが負の値で表現される。
【００８１】
値が０でないエッジ画像中の座標について、図９に示すようにハフ変換後の曲線上の座標を極座標系に投票していくと、投票数が極大となる極座標系の座標がエッジ画像中の直線に相当することになり、点Ａおよび点Ｂを通る直線が検出される。なお、図９は、ハフ変換における投票を示す図である。
【００８２】
図１０は線分抽出部１４における処理の流れの一例を示すフローチャートである。線分抽出部１４はまず、ハフ変換における投票に使用されていないエッジ点があるかを確認する（ステップＳ２１）。エッジ点とはエッジ画像においてエッジの値ｅが０でない画素のことを指す。
【００８３】
投票に使用されていないエッジ点があれば（ステップＳ２１においてＹＥＳ）、線分抽出部１４は、その中からエッジ点をランダムに選択する（ステップＳ２２）。
【００８４】
次に、線分抽出部１４は、選択したエッジ点について極座標系の曲線上の座標に投票を行う（ステップＳ２３）。
【００８５】
そして、線分抽出部１４は、直前のステップＳ２３にて投票を行った中で最大投票数となる投票数について所定の閾値以上かどうかを確認する（ステップＳ２４）。
【００８６】
最大投票数が閾値以上であれば（ステップＳ２４においてＹＥＳ）、線分抽出部１４は、投票数の極大とみなして対応する直線を算出し、算出した直線を複数の線分に変換する（ステップＳ２５）。具体的にはエッジ画像において直線上の座標を走査し、エッジ点が連なっている部分を線分（輪郭線分）として抽出する。ただし、極端に短い線分はノイズとして抽出しない。
【００８７】
線分抽出のときに線分抽出部１４は、抽出した線分上のエッジ点は直線検出に使用済みとして値を０にして除去し（ステップＳ２６）、ステップＳ２１以降の処理を繰り返す。
【００８８】
一方、最大投票数が閾値未満であれば（ステップＳ２４においてＮＯ）、線分抽出部１４は、ステップＳ２１以降の処理を繰り返す。
【００８９】
一方、投票に使用されていないエッジ点がなければ（ステップＳ２１においてＮＯ）、線分抽出部１４は、抽出した線分で線分画像を作成し（ステップＳ２７）、処理を終了する。
【００９０】
（四辺形候補算出部１５における処理の詳細）
四辺形候補算出部１５は、線分画像に含まれる線分から構成される複数の四辺形を、撮像画像の補正に用いる四辺形の候補として算出する。ただし、被写体の像が撮像画像に収まっていない場合を考慮して、線分画像の端に仮想線分を挿入する。図１１は、仮想線分４５・４６・４７・４８を挿入した線分画像４４を示す図である。同図では、線分画像４４の外縁を形成する四辺に沿って４本の仮想線分が挿入されている。
【００９１】
仮想線分の長さは、線分画像の長辺または短辺とほぼ同様の長さであってもよいし、それよりも短くてもよく、特に限定されない。また、仮想線分は、線分画像の外縁の辺に対して平行に挿入されることが好ましいが、後述する実施の形態のように仮想線分の角度を変更することもできるため、平行に挿入する必要は必ずしもない。
【００９２】
図１２は、四辺形候補算出部１５における処理の流れの一例を示すフローチャートである。四辺形候補算出部１５は、最初に線分画像に仮想線分を挿入する（ステップＳ３１）。例えば、線分画像の上下端に当該線分画像の横幅と同じ長さの仮想線分を、画像の左右端に当該線分画像の縦幅と同じ長さの仮想線分を挿入する。仮想線分の４本すべてを挿入しても良いし、４本の仮想線分のうちの１〜３本を挿入してもよい。
【００９３】
次に四辺形候補算出部１５は、仮想線分を含めて、線分画像における線分の個数が４以上であるかどうかを確認する（ステップＳ３２）。
【００９４】
線分の個数が４未満であれば（ステップＳ３２においてＮＯ）、四辺形を構成できないので四辺形候補算出部１５は処理を終了する。
【００９５】
線分の個数が４以上であれば（ステップＳ３２においてＹＥＳ）、四辺形候補算出部１５は、仮想線分を含む線分の集合から４本を選択する（ステップＳ３３）。このときこれまでに選択していない組み合わせを選択する。選択した線分４本について四辺形を構成する４辺を算出可能かどうか確認する（ステップＳ３４）。
【００９６】
具体的な確認方法を以下に示す。図１３は、四辺形候補の４辺を形成する直線を示す図である。線分を延長して直線として扱うと、図１３に示すように４本の直線から生成される交点の数は最大６個である。交点が４個未満の時は、四辺形を構成する４辺は算出不可能とする。交点が４点以上であれば、その交点の中から任意の４点を選び、選んだ４点によって上記直線を区切ることによって得られる４本の線分を４辺とする四辺形が、以下の条件をすべて満たせば四辺形候補とする。１つでも満たさない条件があれば、四辺形候補を構成する４辺は算出不可能とする。
条件１：上記４辺で構成される四辺形が凸型である。
条件２：上記４辺で構成される四辺形の隣り合う頂点間に直線が存在する。
条件３：上記４辺で構成される四辺形の向かい合う頂点間に直線が存在しない。
条件４：上記４辺のうち仮想線分を含む辺は２本以下である。
条件５：上記４辺のうち仮想線分を含む辺が２本の場合は、仮想線分は４辺で構成される四辺形の向かい合う２辺に対応する。
【００９７】
なお、条件１の判定を行う場合には、四辺形の辺を線分ベクトルと考え、隣り合う線分ベクトルで外積をとり、外積の符号がすべて一致すれば凸型と判定する。図１４は、四辺形が凸型であるかどうかを判定する方法を説明するための図である。同図に示すように、ベクトルｖ１とｖ２との外積（ｖ１×ｖ２）の符号は、ｖ１をｖ２に重ねるように時計まわりに回転させたときの角度θに対するsin θの符号となる。同図に示す例では、ｖ１×ｖ２、ｖ２×ｖ３、ｖ３×ｖ４、ｖ４×ｖ１のすべての符号が正となり（角度が１８０°未満）、四辺形は凸型であると判定する。ベクトルの取り方によってはすべての符号が負となる。
【００９８】
図１５（ａ）〜（ｄ）は、被写体の像が撮像画像に収まっていない場合の撮像画像の例を示す図である。仮想線分を用いることで図１５（ａ）〜（ｄ）に示すように、被写体の像が撮像画像に収まっていない場合であっても、被写体の像の輪郭の一部を示す四辺形を算出できる。図１５（ａ）、（ｂ）、（ｃ）は、被写体の像の輪郭を形成する４辺のうちの１辺が収まっていない場合、図１５（ｄ）は２辺が収まっていない場合を示している。
【００９９】
選択された線分４本について四辺形候補を構成する４辺を算出可能であれば（ステップＳ３４においてＹＥＳ）、四辺形候補算出部１５は、算出した４辺を四辺形候補として記憶する（ステップＳ３５）。
【０１００】
一方、四辺形を構成する４辺を算出不可能であれば（ステップＳ３４においてＮＯ）、四辺形候補算出部１５は、ステップＳ３６以降の処理を実行する。
【０１０１】
ステップＳ３５の後、四辺形候補算出部１５は、すべての線分の組み合わせを選択したかを確認する（ステップＳ３６）。
【０１０２】
すべての線分の組み合わせを選択していれば（ステップＳ３６においてＹＥＳ）、四辺形候補算出部１５は、四辺形候補を尤もらしい順番に順序付ける（ステップＳ３７）。
【０１０３】
通常、デジタルカメラの使用者は被写体をできるだけ大きく撮像すると思われる。また、単純な線分の組み合わせでは、被写体の像の輪郭を形成する線分以外の線分を四辺形候補の辺の一部としている可能性がある。これらを考慮して、四辺形候補を形成する４辺にそれぞれ対応する線分（輪郭線分および仮想線分）の長さを評価値として、評価値の降順に四辺形候補を順序付ける。仮想線分は本来の線分ではないため、四辺形に含まれる長さに対して１以下の一定の割合を掛けることにより評価値が小さくなるようにしてもよい。すなわち、四辺形候補算出部１５は、輪郭線分および仮想線分の長さと正の相関のある値を四辺形候補の評価値として用い、仮想線分の単位長さに対する評価値は、輪郭線分の上記単位長さに対する評価値よりも小さい。
【０１０４】
図１６・１７を用いて評価値の例を示す。図１６は、四辺形候補の評価値を説明するための図である。図１７（ａ）および（ｂ）は、評価値の異なる四辺形候補の具体例を示す図である。図１７において、太い破線で示す四辺形が四辺形候補を表している。図１６において線分ａ、ｂ、ｃ、ｄの長さの合計が評価値となる。四辺形候補の辺よりも、当該辺を形成する線分の方が長い場合（線分ｂ、ｄの場合）には、四辺形候補の辺を構成する当該線分の部分の長さについての評価値を用いる。
【０１０５】
図１７（ａ）に示すように被写体の像の輪郭を形成する４辺に対応する四辺形候補は各辺が長く、各辺に含まれる線分が長いため評価値は大きくなる。一方、図１７（ｂ）に示すように被写体の像の輪郭以外の線分に由来する辺を有する四辺形候補の場合は、例えば、白板中の文字の一部から四辺形候補の辺が算出された場合は、当該辺に含まれる線分が短いため評価値は小さくなる。
【０１０６】
本発明では、上述のように撮像画像から被写体の像の輪郭を形成する輪郭線分を抽出する。しかし、実際には、図１７（ｂ）に示すように、被写体の像の輪郭を形成していない線分が輪郭線分として抽出されることがある。上記評価値は、輪郭線分として抽出されるべきでなかった線分に基づいて算出された四辺形候補の優先順位を下げるための値であると言える。
【０１０７】
そして、四辺形候補算出部１５は、すべての線分の組み合わせを選択していなければ（ステップＳ３６においてＮＯ）、ステップＳ３３以降の処理を繰り返す。
【０１０８】
なお、四辺形候補算出部１５とは別に、四辺形を順位付ける順位付け部を設けてもよい。この順位付け部は、四辺形候補算出部１５が特定した複数の四辺形候補について、各四辺形候補が有する輪郭線分および仮想線分の長さを基準として、特定された複数の四辺形を順位付けるものである。
【０１０９】
（仮想線分の評価値を小さくすることの意義）
ここで、四辺形に含まれる仮想線分の長さに対して１以下の一定の割合を掛けることにより評価値を小さくすることの意義について説明する。図１８は、仮想線分の評価値を小さくすることの意義を説明するための図である。
【０１１０】
図１８において検出すべき四辺形は、線分ｓ１、ｓ２、ｓ３、ｓ４をそれぞれ含む直線で囲まれる四辺形であるとする。線分ｓ２は被写体の辺に比べて短いが、被写体が僅かに反っている場合やレンズ歪などにより被写体の辺そのものが厳密な直線ではない場合には抽出した線分が実際の辺よりも短くなる。
【０１１１】
四辺形に含まれる線分の長さをそのまま四辺形の評価値とした場合、図１８の例では、線分ｓ１、ｓ２、ｓ３、ｓ４で構成される四辺形よりも、ｓ１、仮想線分４９、ｓ３、ｓ４で構成される四辺形の評価値の方が高くなってしまう。そのため補正用四辺形として適切な四辺形を四辺形候補の上位に順位付けることが困難となる。
【０１１２】
四辺形に含まれる仮想線分の単位長さに対する評価値を、輪郭線分の単位長さに対する評価値よりも小さくすることにより、被写体の像が撮像画像に収まらない場合にのみ、仮想線分を含む四辺形が四辺形候補の上位に順位付けられる可能性を高めることができる。
【０１１３】
（四辺形選択部１６における処理の詳細）
図１９は、撮像画像および四辺形候補のモニタ７における表示例を示す図である。四辺形選択部１６は、図１９に示すように、モニタ７に撮像画像８１と四辺形候補８２とを表示する。デジタルカメラ１００の使用者が操作ボタン６を用いて複数の四辺形候補の中から１つの四辺形候補を選択すると、四辺形選択部１６は、選択された四辺形候補を撮像画像の補正に用いる補正用四辺形として画像補正部１７へ出力する。
【０１１４】
具体的には、四辺形選択部１６は、最初に最も評価値の高い四辺形候補を表示する。操作ボタン６の例を図２０に示す。次候補表示ボタン６１が押下されるたびに評価値の降順に次の四辺形候補が表示される。前候補表示ボタン６２が押下されるたびに評価値の昇順に次の四辺形候補が表示される。決定ボタン６３は表示されている四辺形候補で画像を補正する場合に押下される。すなわち、その時点で表示されている四辺形候補を補正用四辺形として特定する場合に押下される。この操作によって補正用四辺形特定情報が入力されることになる。
【０１１５】
（画像補正部１７における処理の詳細）
画像補正部１７は、以下に説明する透視変換の原理にしたがって、被写体の縦横比を算出し、撮像画像上の歪んだ四辺形を長方形に補正する。
【０１１６】
（被写体の縦横比の算出方法）
まず被写体の縦横比の算出方法を示す。図２１は、透視変換における物体の位置関係を示す図である。図２１を用いて透視変換における物体の位置関係を、レンズの中心を原点Ｏとして３次元のベクトル空間で示す。撮像面５１は光学系１の光軸５２に垂直であり、レンズ中心から撮像面５１までの距離が焦点距離ｄとなる。撮像面５１とは、デジタルカメラ１００では、イメージセンサ２における撮像面を意味する。物理的な位置関係では撮像面５１はレンズの中心に対して被写体５３とは反対の位置に存在するが、透視変換では理解の容易さの観点から図２１に示す位置関係を用いることが一般的である。
【０１１７】
被写体５３の長方形の頂点をｑ１、ｑ２、ｑ３、ｑ４とし、撮像面５１上の歪んだ四辺形５１ａの頂点をｐ１、ｐ２、ｐ３、ｐ４とする。ここで、撮像面５１は光軸５２に垂直であることから、ｐｉ（１≦ｉ≦４）を下記式（４）で定義する。
【０１１８】
【数１】
【０１１９】
このとき、ｑｉはｐｉを定数倍したものであるため、ｑｉ（１≦ｉ≦４）は、下記式（５）で表わされる。
【０１２０】
ｑｉ＝ｔｉＰｉ・・・（５）
被写体５３は長方形であるため、下記式（６ａ）および（６ｂ）が成り立つ。
【０１２１】
ｑ１−ｑ２＝ｑ３−ｑ４ ・・・（６ａ）
（ｑ１−ｑ２）・（ｑ１−ｑ３）＝０ ・・・（６ｂ）
式（６ｂ）において「・」はベクトルの内積を表す。式（６ａ）は平行四辺形となるための条件であり、式（６ｂ）は隣り合う辺が直交するための条件である。
式（５）と式（６ａ）とにより、下記式（７）が得られる。
【０１２２】
【数２】
【０１２３】
焦点距離ｄは０でないため、式（７）の行列の第３行から下記式（８）が得られる。
【０１２４】
【数３】
【０１２５】
式（５）と式（６ａ）とにより下記式（９）が得られ、式（８）を用いてこれを変形すると下記式（１０）が得られる。
【０１２６】
ｔ１ｐ１−ｔ２ｐ２＝ｔ３ｐ３−ｔ４ｐ４ ・・・（９）
【０１２７】
【数４】
【０１２８】
ここで、下記式（１１）のように変数変換すると、下記式（１２）の等式が得られる。
【０１２９】
【数５】
【０１３０】
【数６】
【０１３１】
式（１２）はｋ１、ｋ２に関する連立方程式となっており、これを解くと下記式（１３）が得られる。
【０１３２】
【数７】
【０１３３】
さらに式（６ｂ）を変換すると下記式（１４）が得られ、これを焦点距離ｄについて解くことで焦点距離が算出される。
【０１３４】
【数８】
【０１３５】
ただし、撮像面５１において被写体５３に対応する四辺形が台形上に歪んでいる場合には、下記式（１５）において分母が０となり焦点距離ｄが算出できない。
【０１３６】
【数９】
【０１３７】
その場合には、焦点距離を外部から与えてやればよい。すなわち、焦点距離入力部１１がＣＰＵ５から受け取った焦点距離情報が示す焦点距離を用いればよい。
【０１３８】
焦点距離ｄを用いて、被写体５３の縦横比は下記式（１６）で表わされる。
【０１３９】
【数１０】
【０１４０】
（画像の補正方法）
次に歪んだ四辺形を長方形に補正する方法を示す。
【０１４１】
歪みを補正するために、まず被写体５３の各頂点について撮像面５１からの距離倍率ｔｉ（１≦ｉ≦４）を定める。実際の距離倍率を算出することはできないが、透視変換では距離倍率の比ｔ１：ｔ２：ｔ３：ｔ４が保たれるように被写体５３の位置を自由に決めることができる。そこでｔ１＝１とすると、下記式（１７）のようにｔｉ（１≦ｉ≦４）を定めることができる。
【０１４２】
ｔ１＝１
ｔ２＝ｋ１ ・・・（１７）
ｔ３＝ｋ２
ｔ４＝ｋ１＋ｋ２−１
補正後の画像として、式（１６）で求めた縦横比に従う適当な大きさの長方形を用意する。このときの補正後の画素の値と補正前の歪んだ四辺形の画素との対応関係を図２２（ａ）および（ｂ）に示す。図２２（ａ）は、補正後の画像の一例を示す図であり、図２２（ｂ）は、補正前の画像に含まれる四辺形の一例を示す図である。
【０１４３】
補正後画像としての長方形５４の上下辺をｍ：（１−ｍ）に内分し、左右辺をｎ：（１−ｎ）に内分する画素値は、補正前画像に含まれる補正用四辺形５５の上辺をｔ２×ｍ：ｔ１×（１−ｍ）に内分し、下辺をｔ４×ｍ：ｔ３×（１−ｍ）に内分し、左辺をｔ３×ｎ：ｔ１×（１−ｎ）に内分し、右辺をｔ４×ｎ：ｔ２×（１−ｎ）に内分する画素値に対応する。
【０１４４】
撮像面上の物体の大きさは距離倍率に反比例するため、補正前画像に含まれる四辺形の内分比には距離倍率の逆比を掛けている。この対応関係にしたがって、バイリニア補間やバイキュービック補間などの補間法を用いることで補正後画像が算出される。バイリニア補間とは、補正前画像に含まれる四辺形において内分比にしたがって算出される位置の周辺４画素の重み付き平均画素値を補正後画像の画素値とする方法である。バイキュービック補間とは、周辺１６画素を用いて補正後画像の画素値を算出する方法である。
【０１４５】
（画像補正部１７における処理の流れ）
図２３は画像補正部１７における処理の流れの一例を示すフローチャートである。画像補正部１７は、最初に使用者によって選択された補正用四辺形から透視変換の原理に従って焦点距離を算出できるかどうかを確認する（ステップＳ４１）。
【０１４６】
焦点距離を算出できたならば（ステップＳ４１においてＹＥＳ）、画像補正部１７は、算出した焦点距離を用いて補正後画像の縦横比を算出する（ステップＳ４２）。
【０１４７】
一方、焦点距離を算出できないならば（ステップＳ４１においてＮＯ）、画像補正部１７は、焦点距離入力部１１において入力された焦点距離を用いて補正後画像の縦横比を算出する（ステップＳ４３）。
【０１４８】
その後、画像補正部１７は、補正後画像の縦横比と距離倍率とを用いて透視変換の原理に従って補正後画像を作成する（ステップＳ４４）。
【０１４９】
なお、輪郭抽出部１３、線分抽出部１４、四辺形候補算出部１５、四辺形選択部１６は、撮像画像を縮小した画像に対して上述の処理を行うことで処理コストを低減できる。
【０１５０】
〔実施の形態２〕
本発明の他の実施形態について図２４〜図２６に基づいて説明すれば、以下のとおりである。なお、実施の形態１と同様の部材に関しては、同じ符号を付し、その説明を省略する。ここでは、四辺形候補算出部１５において、四辺形候補の整形を行う実施形態について説明する。具体的には、四辺形候補算出部１５は、自身が特定した四辺形候補が有する、仮想線分を含む辺が、対向する辺と平行になるように当該仮想線分を含む辺の位置（傾き）を変更する。それゆえ、本実施の形態では、四辺形候補算出部１５は、四辺形整形部としての機能も有している。画像補正部１７は、四辺形候補算出部１５が整形した四辺形候補に基づいて撮像画像の透視変換歪みを補正する。
【０１５１】
図２４は本実施の形態に係る画像処理装置１０が備える四辺形候補算出部１５における処理の流れの一例を示すフローチャートである。四辺形候補算出部１５は、第１の実施の形態における処理に加えて、図１２に示したステップＳ３４とステップＳ３５との間に辺補正処理（ステップＳ５５）を実行する。図２４に示すステップＳ５１〜５４は、ステップＳ３１〜３４と同じであり、ステップＳ５６〜５８は、ステップＳ３５〜３７と同じである。
【０１５２】
ステップＳ５５の辺補正処理では、画像補正部１７は、四辺形候補において仮想線分を含む辺が向かい合う辺と平行になるように補正する。これにより、図２５に示すようにデジタルカメラが被写体に対して回転した状態であっても補正に必要な四辺形が得られる。図２５（ａ）は辺の位置を補正する前の四辺形候補を示す図であり、図２５（ｂ）は辺の位置を補正した後の四辺形候補を示す図である。図２５（ａ）および（ｂ）において、太い破線で示す四辺形が四辺形候補である。
【０１５３】
（辺補正処理の流れ）
図２６は、辺補正処理の流れの一例を示すフローチャートである。辺補正処理では最初に、四辺形候補算出部１５は、四辺形を構成する４本の線分のうち仮想線分の個数が１かどうかを確認する（ステップＳ６１）。
【０１５４】
仮想線分の個数が１であれば（ステップＳ６１においてＹＥＳ）、四辺形候補算出部１５は、仮想線分を含む辺が向かい合う辺と平行になるように、仮想線分を含む辺の両端の頂点のいずれか一方の位置を修正する（ステップＳ６２）。
【０１５５】
ここで、仮想線分を含む辺の両端の頂点のいずれの位置を修正してもよいが、生成される四辺形の面積が大きくなる方の頂点の位置を修正することが好ましい。その方が補正後画像に含まれる被写体の像の面積がより大きくなるからである。この場合、図２５（ｂ）に示すように、位置修正後の頂点が線分画像に収まらない可能性がある。このような場合には、線分画像と同一の座標系を有する、線分画像よりも大きな仮想的な画像（仮想画像）を形成し、その仮想画像における座標（画素の位置）を用いて四辺形候補の４つの頂点の位置を特定すればよい。
【０１５６】
その後、四辺形候補算出部１５は、修正した頂点を含む四辺形の４辺を算出する（ステップＳ６３）。
【０１５７】
一方、仮想線分の個数が１でなければ（ステップＳ６１においてＮＯ）、何もせず処理を終了する。ここで四辺形候補算出処理のステップＳ５３（図２３）における四辺形候補の選択条件４および５により、仮想線分の数は０、１または２である。仮想線分が２個であれば、それらは向かい合う平行な辺として既に配置されており、仮想線分が０個の場合はすべてが本来の線分であるため点を補正する必要がない。
【０１５８】
なお、四辺形候補算出部１５とは、別に四辺形整形部を設け、四辺形候補算出部１５が算出した四辺形候補のそれぞれについて四辺形整形部が上述の整形を行う構成にしてもよい。この場合、画像補正部１７は、四辺形整形部が整形した四辺形に基づいて撮像画像の透視変換歪みを補正する。
【０１５９】
〔実施の形態３〕
本発明の他の実施形態について図２７〜図２９に基づいて説明すれば、以下のとおりである。なお、実施の形態１・２と同様の部材に関しては、同じ符号を付し、その説明を省略する。
【０１６０】
本実施の形態では、仮想線分の挿入位置を示す挿入位置情報をデジタルカメラ１００の使用者から受け付け、四辺形候補算出部１５は、取得した挿入位置情報が示す挿入位置に仮想線分を挿入する。
【０１６１】
挿入位置情報は、操作ボタン６またはモニタ７に表示されたソフトキーを介して入力されるため、操作ボタン６またはモニタ７が挿入位置情報を取得する挿入位置情報取得部として機能する。
【０１６２】
図２７は本実施の形態にかかる画像処理装置１０が備える四辺形候補算出部１５における処理の流れの一例を示すフローチャートである。この四辺形候補算出処理では、第１の実施の形態における処理に加えて、図１２のステップＳ３１の前に使用者による仮想線分の選択処理を実行する（ステップＳ７１）。図２７に示すステップＳ７２〜７８は、ステップＳ３１〜３７と同じである。
【０１６３】
図２８（ａ）は、仮想線分を選択するときのモニタの表示画面の一例を示す図であり、図２８（ｂ）は、右端の仮想線分が選択されたときのモニタ７の表示画面を示す図である。仮想線分の挿入（ステップＳ７１）では、使用者によって選択された仮想線分だけが挿入される。この仮想線分の選択では、図２８（ａ）に示すように、四辺形候補算出部１５は、モニタ７に撮像画像７５を表示するとともに、仮想線分の挿入位置を示すカーソル７１〜７４を撮像画像７５の上下左右の外縁部の近傍にそれぞれ表示する。
【０１６４】
デジタルカメラの使用者は、操作ボタン６を用いて仮想線分の挿入位置を決定する。使用者が右端の仮想線分を選択した場合、図２８（ｂ）に示すように右端の仮想線分に対応するカーソル７２の色が変化する。
【０１６５】
仮想線分の挿入位置を入力するための操作ボタン６の例を図２９に示す。右線分選択ボタン６０１が押下されると右端の仮想線分が選択される。再度、右線分選択ボタン６０１が押下されると右端の仮想線分の選択が解除される。同様に、操作ボタン６には左線分選択ボタン６０２、上線分選択ボタン６０３、下線分選択ボタン６０４が配置される。決定ボタン６０５が押下されると選択が完了する。
【０１６６】
なお、図２９に示す操作ボタン６と図２０に示す操作ボタン６とは部品を共通化してもよい。たとえば、右線分選択ボタン６０１と次候補表示ボタン６１、左線分選択ボタン６０２と前候補表示ボタン６２、決定ボタン６０５と決定ボタン６３とは部品を共通化できる。
【０１６７】
また、操作ボタン６は必ずしも物理的なボタンとして実現する必要はない。例えば、モニタ７にタッチ位置を検出するタッチパネルを設け、モニタ７に表示されたカーソル７１〜７４などの図形のタッチを検出して、ボタン押下時と同じ処理を行うようにしてもよい。
【０１６８】
〔実施の形態４〕
本発明の他の実施形態について図３０〜図３２に基づいて説明すれば、以下のとおりである。なお、実施の形態１〜３と同様の部材に関しては、同じ符号を付し、その説明を省略する。
【０１６９】
（画像処理装置２０の構成）
図３０は、本実施の形態に係る画像処理装置２０の構成を示すブロック図である。同図に示すように画像処理装置２０は、仮想線分を挿入する位置を判定する挿入位置判定部１９を備えている点で画像処理装置１０と異なっている。
【０１７０】
挿入位置判定部１９は、撮像画像における被写体の像が、当該撮像画像の外縁を形成する四辺のいずれと交差しているかを判定することにより仮想線分の挿入位置を判定する。すなわち、挿入位置判定部１９は、被写体の像が接している撮像画像の外縁の辺を、仮想線分の挿入位置として判定する。
【０１７１】
例えば、図４(ａ)に示すように被写体の像の右側が撮像画像の右端の辺と接している場合には、挿入位置判定部１９は、撮像画像の右端を仮想線分の挿入位置として判定する。
【０１７２】
四辺形候補算出部１５は、挿入位置判定部１９が判定した辺の近傍または当該辺に重なるように仮想線分を挿入する。四辺形候補算出部１５のその後の処理は、上述した実施の形態１における処理と同様である。
【０１７３】
（挿入位置判定部１９における処理の詳細）
次に、挿入位置判定部１９における挿入位置判定処理の詳細について説明する。図３１は挿入位置判定部１９における処理の流れの一例を示すフローチャートである。図３２（ａ）および（ｂ）は、挿入位置判定部１９における挿入位置判定処理を説明するための図である。
【０１７４】
まず、挿入位置判定部１９は、撮像画像を二値化する（ステップＳ８１）。二値化の方法として例えば大津の方法を用いることができる。大津の方法とは、撮像画像の輝度成分についてヒストグラムを取り、ある閾値によってヒストグラムを２つの領域に分類した場合の領域間分散が最大となるような閾値を選択する方式である。二値化により、各画素は白画素と黒画素に分類される。
【０１７５】
次に、挿入位置判定部１９は、ノイズ除去のために二値化画像に対して膨張処理と収縮処理とを複数回施す（ステップＳ８２）。膨張処理は白画素に隣接する黒画素を白画素にする処理であり、小さな黒画素領域を白画素領域に統合できる。収縮処理は、黒画素に隣接する白画素を黒画素にする処理であり、小さな白画素領域を黒画素領域に統合できる。複数回の膨張処理の後、同じ回数の収縮処理を施す手法をクロージングと呼び、複数回の収縮処理の後、同じ回数の膨張処理を施すことをオープニングと呼ぶ。クロージングとオープニングを順に施すことによりノイズを除去できる。
【０１７６】
図３２（ａ）および（ｂ）は、挿入位置判定部における挿入位置判定処理を説明するための図である。次に、挿入位置判定部１９は、図３２（ａ）に示すように、ノイズ除去ずみの二値化画像にラベリング処理を施す（ステップＳ８３）。この処理では、連結した白画素領域または黒画素領域に数字を割り振る。
【０１７７】
その後、挿入位置判定部１９は、図３２（ｂ）に示すように、ラベリングした領域の面積について、所定の閾値より小さい面積は周囲の領域に統合する（ステップＳ８４）。
【０１７８】
そして、挿入位置判定部１９は、画像の中心は被写体の像に属するものと考え、中心画素を含む領域が撮像画像の外縁の辺のうちのどの辺に隣接しているかを判定する（ステップＳ８５）。そして、挿入位置判定部１９は、被写体の像が隣接している撮像画像の辺の位置を仮想線分挿入位置として四辺形候補算出部１５へ出力する。
【０１７９】
なお、ステップＳ８５において、ノイズを考慮して、撮像画像の中心付近の複数画素で最も多いラベルの領域を被写体の領域としても構わない。
【０１８０】
また、ステップＳ８５において、被写体の像がいずれの撮像画像の辺とも接していないと判定した場合には、挿入位置判定部１９は、仮想線分を挿入する必要がない旨を示す情報を四辺形候補算出部１５へ出力すればよい。この場合には、四辺形候補算出部１５は、仮想線分を挿入せずに四辺形候補の算出を行う。
【０１８１】
〔実施の形態５〕
本発明の他の実施形態について図３３に基づいて説明すれば、以下のとおりである。
【０１８２】
（１．コンピュータの構成）
図３３は、本実施の形態にかかるコンピュータ２００の構成を示す図である。
【０１８３】
コンピュータ２００は、入力装置であるキーボード２０１およびマウス２０２と、ＣＰＵ（Central Processing Unit）２０４と、ＲＯＭ（Read Only Memory）およびＲＡＭ（Random Access Memory）を含むメモリ２０６と、固定ディスク（記憶部）２０７と、出力インターフェース２０３とを備える。コンピュータ２００は出力インターフェース２０３を通じて、表示画像をモニタ２０５に出力する。
【０１８４】
コンピュータ２００は、ＣＤ−ＲＯＭ（Compact Disk Read-Only Memory）２１２などの光ディスクからデータを読取可能な光ディスクドライブ２０９と、フレキシブルディスク（ＦＤ：Flexible Disk）２１１からデータを読取可能なＦＤドライブ２０８と、外部装置とデータ授受可能な通信モジュール２１０とをさらに備える。
【０１８５】
ＣＰＵ２０４に、画像処理装置１０または画像処理装置２０における上述の各処理を実行させるための画像処理プログラムは、ＣＤ−ＲＯＭ２１２やフレキシブルディスク２１１などの記録媒体に格納されて流通し、光ディスクドライブ２０９やＦＤドライブ２０８などによって読取られて固定ディスク２０７にインストールされる。
【０１８６】
なお、コンピュータ２００において画像処理プログラムを格納する記憶部は、固定ディスクに限定されず、ＳＳＤ（Solid State Drive）などのフラッシュメモリ（半導体メモリ）であってもよい。
【０１８７】
このような形態に替えて、コンピュータ２００が通信モジュール２１０を介してネットワーク接続されている場合には、ネットワーク上のサーバから送信される画像処理プログラムを受信して、固定ディスク２０７にインストールするようにしてもよい。
【０１８８】
なお、ネットワーク経由で画像処理プログラムを受信する場合には、固定ディスク２０７にインストールすることなくＲＡＭ上にロードした上で当該画像処理プログラムを実行してもよい。
【０１８９】
なお、画像処理プログラムを格納する記録媒体は、ＣＤ−ＲＯＭ２１２やフレキシブルディスク２１１に限られず、たとえば、ＤＶＤ−ＲＯＭ（Digital Versatile Disk）やメモリカードであってもよく、その場合には、コンピュータ２００にそのような記録媒体を読取可能なドライブ装置が設けられる。
【０１９０】
ＣＰＵ２０４は、固定ディスク２０７にインストールされた画像処理プログラムを読み出して実行することにより、上述の焦点距離入力部１１、画像入力部１２、輪郭抽出部１３、線分抽出部１４、四辺形候補算出部１５、四辺形選択部１６、画像補正部１７、画像出力部１８および挿入位置判定部１９としての機能を実現する。
【０１９１】
具体的には、ＣＰＵ２０４は、デジタルカメラの撮像画像を固定ディスク２０７またはＣＤ−ＲＯＭ２１２またはフレキシブルディスク２１１から読み出し、メモリ２０６に格納するとともにモニタ２０５に表示する。そして、ＣＰＵ２０４は、撮像画像から歪みのない補正後画像を作成し、メモリ２０６に格納するとともに出力インターフェース２０３を介してモニタ２０５に表示する。
【０１９２】
（２．コンピュータの処理の流れ）
本実施の形態にかかるコンピュータ２００の処理の流れは、実施の形態１の画像処理装置１０における処理の流れ（図５参照）とほぼ同様である。以下、各処理の詳細において、実施の形態１と異なる部分について説明する。
【０１９３】
焦点距離入力部１１は、補正の対象となる撮像画像を撮像したときの焦点距離をメモリ２０６に格納する。焦点距離は撮像画像データに含まれるＥｘｉｆから読み取っても良いし、以前に撮像画像を補正した際に算出された焦点距離を、当該撮像画像と対応付けて固定ディスク２０７に保存しておき、その焦点距離をメモリ２０６に読み込んでもよい。
【０１９４】
画像入力部１２、輪郭抽出部１３、線分抽出部１４、四辺形候補算出部１５は、実施の形態１と同様であるため、その説明を省略する。
【０１９５】
四辺形選択部１６は、出力インターフェース２０３を介してモニタ２０５に撮像画像と四辺形候補とを表示し、コンピュータ２００の使用者が操作ボタン６の代わりにキーボード２０１とマウス２０２とを用いて四辺形候補の中から四辺形を選択する。例えば図２０で示した操作ボタンの図柄をモニタ２０５に表示し、マウス２０２でクリック操作がなされた際に操作ボタンが押下された場合に対応する処理を実行する。
【０１９６】
画像補正部１７における処理は、実施の形態１と同様であるため、その説明を省略する。
【０１９７】
画像出力部１８は、補正後画像をメモリ２０６に格納するとともにモニタ２０５に表示する。
【０１９８】
なお、図３３に示すコンピュータ２００で行う処理の一部を、通信モジュールを介して接続された他のコンピュータで行ってもよい。例えば、コンピュータ２００は撮像画像を送信し、他のコンピュータで算出された四辺形候補を受信してモニタ２０５に表示する。コンピュータ２００は使用者によって選択された四辺形を送信し、他のコンピュータで作成された補正後画像を受信してモニタ２０５に表示する。
【０１９９】
別の場合には、コンピュータ２００は撮像画像を送信し、最も評価値の高い四辺形候補を用いて他のコンピュータにより補正された補正後画像を受信してモニタ２０５に表示する。
【０２００】
（その他の変更例）
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【０２０１】
また、上述したデジタルカメラ１００の各ブロック、特に画像処理装置１０・２０の各ブロックは、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。
【０２０２】
すなわち、画像処理装置１０・２０は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである画像処理装置１０・２０の制御プログラム（画像処理プログラム）のプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記画像処理装置１０・２０に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【０２０３】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
【０２０４】
また、画像処理装置１０・２０を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ（high data rate）、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【０２０５】
なお、本発明は、以下のようにも表現できる。
【０２０６】
すなわち、本発明の画像処理装置は、画像入力部と、前記画像入力部にて入力された画像から線分を抽出する線分抽出部と、前記画像に仮想的な線分（仮想線分）を挿入する仮想線分挿入部と、前記線分抽出部により得られた線分（抽出線分）と前記仮想線分から四辺形候補を算出する四辺形候補算出部と、前記四辺形候補算出部にて算出された四辺形に基づいて画像の透視変換歪みを補正する画像補正部とを備えている。
【０２０７】
また、前記仮想線分挿入部は、前記仮想線分を前記画像の上下左右端の中から一つまたは複数の位置に挿入することが好ましい。
【０２０８】
また、前記仮想線分の挿入位置を画像処理装置の使用者に選択させるための選択指示部を備え、前記仮想線分挿入部は、前記選択指示部により選択された位置に前記仮想線分を挿入することが好ましい。
【０２０９】
また、前記四辺形候補算出部は、前記四辺形候補において前記仮想線分を含む辺の位置を向かい合う辺と平行になるように補正することが好ましい。
【０２１０】
また、前記四辺形候補算出部は、前記四辺形候補に含まれる前記抽出線分と前記仮想線分の長さに基づく評価値によって前記四辺形候補の順序付けを行うことが好ましい。
【０２１１】
また、前記評価値は、前記仮想線分の長さに基づく評価値を前記抽出線分の長さに基づく評価値よりも小さくすることが好ましい。
【産業上の利用可能性】
【０２１２】
本発明は、撮像画像に含まれる被写体の像の歪み補正を行う画像処理装置として利用することができる。
【符号の説明】
【０２１３】
１０ 画像処理装置
１３ 輪郭抽出部（線分画像生成部）
１４ 線分抽出部（線分画像生成部）
１５ 四辺形候補算出部（四辺形特定部、四辺形整形部、順位付け部）
１７ 画像補正部
１９ 挿入位置判定部（判定部）
２０ 画像処理装置
４１ 撮像画像
４４ 線分画像
４５・４６・４７・４８・４９ 仮想線分
５３ 被写体
５５ 四辺形
１００ デジタルカメラ（画像処理装置）
１１０ 白板（被写体）
１１１ 撮像画像
１１３ 補正後画像
２００ コンピュータ（画像処理装置）
【技術分野】
【０００１】
本発明は画像処理装置に関し、特に、画像の歪みを補正する画像処理装置に関する。
【背景技術】
【０００２】
カメラを用いて被写体を斜め方向から見上げて撮像すると、カメラから遠い被写体の部分が小さく歪む、いわゆるアオリが生じる。特開平８−１６３４２７号公報（以下、特許文献１）に記載の「撮像装置」では、小さく歪んだ部分を画像処理により広げることでアオリが補正される。
【０００３】
一方、デジタルカメラの普及に伴い、紙面などの書類、展示会でのポスター、観光地の案内図、会議などで使用された白板や黒板を撮像してデジタルデータとして利用する方法が広がりつつある。撮像データとしては被写体を正面から撮像したものが内容確認の容易さの観点からは望ましい。また、撮像データからＯＣＲ（光学文字読取装置）で文字を読み取る場合にも正面から撮像したものが認識精度向上の観点からは望ましい。
【０００４】
しかし、被写体の配置などの物理的制約により正面から撮像できない場合がある。また、光源の方向などにより正面以外から撮像した方が良い場合もある。これらの場合、撮像データでは被写体の像が歪むため、内容確認やＯＣＲでの文字読み取りが困難になる。特開２００４−４０３９５号公報（以下、特許文献２）に記載の「画像歪み補正装置」では、撮像画像中の歪んだ被写体の像から、被写体の像の元の縦横比と射影パラメータとが算出され、それらを用いて撮像画像の歪みが補正される。また、特開２００８−２５７７１３号公報（以下、特許文献３）に記載の「透視変換歪み発生文書画像補正装置」では、文書画像から検出したラインセグメントを用いて撮像画像の歪みが補正される。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開平８−１６３４２７号公報（１９９６年６月２１日公開）
【特許文献２】特開２００４−４０３９５号公報（２００４年２月５日公開）
【特許文献３】特開２００８−２５７７１３号公報（２００８年１０月２３日公開）
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献１に記載の装置では、歪みの補正度合いを装置の使用者が手動で調整しなければならず、また、被写体の像の縦横比は復元されない。一方、特許文献２に記載の装置では、被写体の像が撮像面に収まっている必要があるが、ビルやスケジュールボードのような細長い被写体を撮像面に収めることは困難である。また、特許文献３に記載の装置では、被写体が文書画像に限られるため、白板や案内図などラインセグメントを検出できない被写体に対しては歪みを補正できない。
【０００７】
本発明はこのような問題に鑑みてなされたものであって、被写体を撮像した撮像画像において当該被写体の像の一部が欠けている場合、かつ、被写体が文書画像でない白板などの場合でも、補正度合いを手動で調整することなく被写体の像の歪み補正を行うことのできる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００８】
本発明に係る画像処理装置は、上記の課題を解決するために、被写体を撮像した撮像画像から、上記被写体の像の輪郭に含まれる線分である輪郭線分を抽出した線分画像を生成する線分画像生成部と、上記線分画像生成部が生成した線分画像に仮想的な線分である仮想線分を少なくとも１本挿入し、挿入した仮想線分および上記輪郭線分の集合から４本の線分を選択し、その４本の線分をそれぞれ含む４本の直線によって囲まれる四辺形を特定する四辺形特定部と、上記四辺形特定部が特定した四辺形に基づいて上記撮像画像の透視変換歪みを補正する画像補正部とを備えることを特徴としている。
【０００９】
本発明に係る画像処理方法は、上記の課題を解決するために、画像処理装置における画像処理方法であって、被写体を撮像した撮像画像から、上記被写体の像の輪郭に含まれる線分である輪郭線分を抽出した線分画像を生成する線分画像生成工程と、上記線分画像生成工程において生成した線分画像に仮想的な線分である仮想線分を少なくとも１本挿入し、挿入した仮想線分および上記輪郭線分の集合から４本の線分を選択し、その４本の線分をそれぞれ含む４本の直線によって囲まれる四辺形を特定する四辺形特定工程と、上記四辺形特定工程において特定した四辺形に基づいて上記撮像画像の透視変換歪みを補正する画像補正工程とを含むことを特徴としている。
【００１０】
上記の構成によれば、線分画像生成部は、被写体を撮像した撮像画像から被写体の像の輪郭を抽出する。そして線分画像生成部は、抽出した輪郭に含まれる線分（２点で区切られる直線の部分）である輪郭線分を抽出することにより、輪郭線分を示す線分画像を生成する。
【００１１】
なお、上記被写体として、互いにほぼ平行な線分の組をその外縁に２組含み、それら線分の組が互いになす角度がほぼ直角であるもの（例えば、長方形または正方形の面を有する被写体）を想定している。また、撮像画像に含まれる被写体の像として、少なくとも２辺を有するものを想定している。
【００１２】
四辺形特定部は、生成された線分画像に仮想線分を少なくとも１本挿入し、挿入した仮想線分および線分画像に含まれる輪郭線分の集合から４本の線分を選択し、その４本の線分をそれぞれ含む４本の直線によって囲まれる四辺形を特定する。この処理によって、撮像画像に含まれる被写体の像の一部が欠落していても、仮想線分によってその欠落部分を補うことができ、被写体の像の外縁を形成する４辺を仮想的に形成することができる。
【００１３】
画像補正部は、四辺形特定部が特定した四辺形に基づいて撮像画像の透視変換歪みを補正する。例えば、画像補正部は、四辺形特定部が特定した四辺形の４角が直角となるように、かつ当該四辺形に対応する被写体の像の縦横比と同じ縦横比を当該四辺形が有するように当該四辺形を補正することで撮像画像の透視変換歪みを補正する。
【００１４】
それゆえ、撮像画像に含まれる被写体の像の一部が欠落している場合でも、被写体の像が文書でない場合でも、撮像画像の透視変換歪みを適切に補正することができる。
【００１５】
また、上記四辺形特定部は、上記線分画像の外縁を形成する四辺のうちの少なくとも一辺に沿ってまたは当該一辺に重なるように上記仮想線分を挿入することが好ましい。
【００１６】
上記の構成により、撮像画像に含まれる被写体の像の欠落部分を効率良く補うことができる。なお、仮想線分は、所定の長さのものでよく、その長さは特に限定されない。
【００１７】
また、上記四辺形特定部は、上記線分画像の外縁を形成する四辺のそれぞれに対して上記仮想線分を挿入することが好ましい。
【００１８】
上記の構成により、撮像画像に含まれる被写体の像のどの部分が欠落しているかについての情報が得られない場合でも確実に欠落部分を補うことができる。
【００１９】
また、上記画像処理装置は、上記仮想線分の挿入位置を示す挿入位置情報を使用者から受け付ける挿入位置情報取得部をさらに備え、上記四辺形特定部は、上記挿入位置情報取得部が取得した挿入位置情報が示す挿入位置に上記仮想線分を挿入することが好ましい。
【００２０】
上記の構成によれば、挿入位置情報取得部は、仮想線分の挿入位置を示す挿入位置情報を使用者から受け付け、四辺形特定部は、挿入位置情報が示す挿入位置に仮想線分を挿入する。
【００２１】
それゆえ、撮像画像に含まれる被写体の像の欠落部分を確実に補うことができるとともに不要な仮想線分を挿入することを避けることができ、四辺形を特定するための処理量を低減できる。
【００２２】
また、上記画像処理装置は、上記撮像画像における上記被写体の像が、当該撮像画像の外縁を形成する四辺のいずれと接しているかを判定する判定部をさらに備え、上記四辺形特定部は、上記判定部が判定した辺に沿って、または当該辺に重なるように上記仮想線分を挿入することが好ましい。
【００２３】
上記の構成によれば、判定部は、撮像画像における被写体の像が、当該撮像画像の外縁を形成する四辺（外縁辺）のいずれと接しているかを判定する。この処理により、被写体の像の欠落が、撮像画像のどの外縁辺において生じているのかを判定することができる。外縁辺と接している被写体の像の部分において、当該被写体の像が欠落している可能性が高いからである。
【００２４】
それゆえ、使用者から撮像画像の欠落部分を示す情報を取得しなくても、撮像画像の欠落部分の位置を判定することができ、適切な位置に仮想線分を挿入することができる。
【００２５】
また、上記画像処理装置は、上記四辺形特定部が特定した四辺形が有する、上記仮想線分を含む辺が、対向する辺と平行になるように当該仮想線分を含む辺の位置を変更する四辺形整形部をさらに備え、上記画像補正部は、上記四辺形整形部が整形した四辺形に基づいて上記撮像画像の透視変換歪みを補正することが好ましい。
【００２６】
上記の構成によれば、四辺形整形部は、四辺形特定部が特定した四辺形が有する、仮想線分を含む辺（換言すれば、仮想線分によって形成されている辺）が、対向する辺と平行になるように当該仮想線分を含む辺の位置を変更する。そして、画像補正部は、四辺形整形部が整形した四辺形に基づいて撮像画像の透視変換歪みを補正する。
【００２７】
それゆえ、被写体の像が、撮像画像の外縁に対して回転している場合でも、画像の補正に用いる四辺形を適切に得ることができる。
【００２８】
また、上記画像処理装置は、上記四辺形特定部が上記四辺形を複数特定した場合に、各四辺形に含まれる輪郭線分および仮想線分の長さを基準として、特定された複数の四辺形を順位付ける順位付け部をさらに備えることが好ましい。
【００２９】
上記の構成によれば、四辺形特定部が四辺形を複数特定した場合に、順位付け部によって、それらの四辺形が順位付けられる。この順位付けは、各四辺形に含まれる輪郭線分および仮想線分の長さを基準として行われる。例えば、各四辺形に含まれる線分の長さの合計が大きい順に四辺形を順位付ける。
【００３０】
それゆえ、四辺形特定部によって四辺形が複数特定された場合でも、撮像画像の補正に用いる補正用四辺形として適切な順に四辺形を順位付けることができる。その後、最も順位の高い四辺形を補正用四辺形として用いてもよいし、順位に従って複数の四辺形を使用者に提示してもよい。
【００３１】
また、上記四辺形特定部は、上記輪郭線分および上記仮想線分の長さと正の相関のある値を上記四辺形の評価値として用い、上記仮想線分の単位長さに対する評価値は、上記輪郭線分の上記単位長さに対する評価値よりも小さいことが好ましい。
【００３２】
上記の構成によれば、四辺形特定部が用いる四辺形の評価値は、輪郭線分および仮想線分の長さと正の相関のあるものである。すなわち、線分の長さが大きくなれば、その線分を含む四辺形の評価値は大きくなる。また、仮想線分の単位長さに対する評価値は、輪郭線分の単位長さに対する評価値よりも小さく設定されている。
【００３３】
被写体の像の輪郭から抽出される輪郭線分の長さは、被写体の像が部分的に歪んだり、被写体の像のコントラストが小さいために輪郭線分が断片化したりすることにより、短くなることがある。これに対して、仮想線分は、所定の長さを有するものであり、この所定の長さが長い場合には、統計的に輪郭線分の長さよりも仮想線分の長さが長くなることが考えられる。
【００３４】
仮想線分の単位長さに対する評価値を、輪郭線分の単位長さに対する評価値よりも小さく設定することにより、不要な仮想線分が挿入され、その仮想線分を含む四辺形が特定された場合に、当該四辺形の評価値を小さくすることができる。
【００３５】
また、上記画像処理方法における各工程をコンピュータに実行させるための画像処理プログラム、当該画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体も本発明の技術的範囲に含まれる。
【発明の効果】
【００３６】
以上のように、本発明に係る画像処理装置は、被写体を撮像した撮像画像から、上記被写体の像の輪郭に含まれる線分である輪郭線分を抽出した線分画像を生成する線分画像生成部と、上記線分画像生成部が生成した線分画像に仮想的な線分である仮想線分を少なくとも１本挿入し、挿入した仮想線分および上記輪郭線分の集合から４本の線分を選択し、その４本の線分をそれぞれ含む４本の直線によって囲まれる四辺形を特定する四辺形特定部と、上記四辺形特定部が特定した四辺形に基づいて上記撮像画像の透視変換歪みを補正する画像補正部とを備える構成である。
【００３７】
本発明に係る画像処理方法は、画像処理装置における画像処理方法であって、被写体を撮像した撮像画像から、上記被写体の像の輪郭に含まれる線分である輪郭線分を抽出した線分画像を生成する線分画像生成工程と、上記線分画像生成工程において生成した線分画像に仮想的な線分である仮想線分を少なくとも１本挿入し、挿入した仮想線分および上記輪郭線分の集合から４本の線分を選択し、その４本の線分をそれぞれ含む４本の直線によって囲まれる四辺形を特定する四辺形特定工程と、上記四辺形特定工程において特定した四辺形に基づいて上記撮像画像の透視変換歪みを補正する画像補正工程とを含む構成である。
【００３８】
それゆえ、撮像画像に含まれる被写体の像の一部が欠落している場合でも、被写体の像が文書でない場合でも、撮像画像の透視変換歪みを適切に補正することができるという効果を奏する。
【図面の簡単な説明】
【００３９】
【図１】本発明の一実施形態に係る画像処理装置の構成を示すブロック図である。
【図２】本発明の一実施形態に係るデジタルカメラの機能を説明するための図である。
【図３】本発明の一実施形態に係るデジタルカメラの構成を示すブロック図である。
【図４】（ａ）は撮像画像の一例を示す図であり、（ｂ）は（ａ）に示す撮像画像から生成したエッジ画像を示す図である。
【図５】上記画像処理装置における処理の流れの一例を示すフローチャートである。
【図６】上記画像処理装置が備える輪郭抽出部における処理の流れの一例を示すフローチャートである。
【図７】（ａ）は輪郭抽出部が生成したエッジ画像の一例を示す図であり、（ｂ）は（ａ）に示すエッジ画像から生成した線分画像を示す図である。
【図８】（ａ）はエッジ画像のｘｙ座標系における点Ａおよび点Ｂの位置を示すグラフであり、（ｂ）はｘｙ座標系の（ｘ，ｙ）座標を極座標系の座標（ρ，θ）に変換したときの点Ａおよび点Ｂに対応する曲線を示すグラフである。
【図９】ハフ変換における投票を示す図である。
【図１０】上記画像処理装置が備える線分抽出部おける処理の流れの一例を示すフローチャートである。
【図１１】仮想線分を４本挿入した線分画像を示す図である。
【図１２】上記画像処理装置が備える四辺形候補算出部における処理の流れの一例を示すフローチャートである。
【図１３】四辺形候補の４辺を形成する直線を示す図である。
【図１４】四辺形が凸型であるかどうかを判定する方法を説明するための図である。
【図１５】（ａ）〜（ｄ）は、被写体の像が撮像画像に収まっていない場合の撮像画像の例を示す図である。
【図１６】四辺形候補の評価値を説明するための図である。
【図１７】（ａ）および（ｂ）は、評価値の異なる四辺形候補の具体例を示す図である。
【図１８】仮想線分の評価値を小さくすることの意義を説明するための図である。
【図１９】撮像画像および四辺形候補のモニタにおける表示例を示す図である。
【図２０】操作ボタンの一例を示す図である。
【図２１】透視変換における物体の位置関係を示す図である。
【図２２】（ａ）は補正後の画像の一例を示す図であり、（ｂ）は補正前の画像に含まれる四辺形の一例を示す図である。
【図２３】上記画像処理装置が備える画像補正部における処理の流れの一例を示すフローチャートである。
【図２４】本発明の別の実施形態に係る画像処理装置が備える四辺形候補算出部における処理の流れの一例を示すフローチャートである。
【図２５】（ａ）は辺の位置を補正する前の四辺形を示す図であり、（ｂ）は辺の位置を補正した後の四辺形を示す図である。
【図２６】四辺形候補算出部における辺補正処理の流れの一例を示すフローチャートである。
【図２７】本発明のさらに別の実施形態にかかる画像処理装置が備える四辺形候補算出部における処理の流れの一例を示すフローチャートである。
【図２８】（ａ）は仮想線分を選択するときのモニタの表示画面の一例を示す図であり、（ｂ）は右端の仮想線分が選択されたときのモニタの表示画面を示す図である。
【図２９】仮想線分の挿入位置を入力するための操作ボタンの一例を示す図である。
【図３０】本発明のさらに別の実施形態に係る画像処理装置の構成を示すブロック図である。
【図３１】上記画像処理装置が備える挿入位置判定部における処理の流れの一例を示すフローチャートである。
【図３２】（ａ）および（ｂ）は、挿入位置判定部における挿入位置判定処理を説明するための図である。
【図３３】本発明のさらに別の実施形態に係るコンピュータの構成を示す図である。
【発明を実施するための形態】
【００４０】
〔実施の形態１〕
本発明の実施の一形態について図１〜図２３に基づいて説明すれば、以下のとおりである。ここでは、本発明の画像処理装置をデジタルカメラで実施する形態を説明する。ただし、本発明の画像処理装置は、デジタルカメラに限定されず、内蔵する撮像装置または外部の装置から撮像画像データを取得し、その撮像画像データを処理する装置（例えば、スキャナー、プリンター、携帯電話）であれば、どのような装置であってもよい。
【００４１】
（１．デジタルカメラ１００の機能の説明）
図２は、本実施の形態のデジタルカメラ１００の機能を説明するための図である。デジタルカメラ１００で白板１１０を斜め方向から撮像すると、撮像画像１１１における白板の像１１２は歪む。また、スケジュールボードなどの被写体が大きい場合は被写体の像一部が撮像画像に収まらない場合がある。歪んだ撮像画像をデジタルカメラ１００により補正すると補正後画像１１３のような歪みのない白板の像１１４を含む画像が得られる。特に、被写体の像一部が撮像画像に収まらない場合においても歪みのない画像が得られる。
【００４２】
（２．デジタルカメラ１００の構成）
図３は、デジタルカメラ１００の構成を示す図である。同図に示すように、デジタルカメラ１００は、光学系１、イメージセンサ２、メモリ３、カードリーダライタ４、ＣＰＵ（中央処理装置）５、操作ボタン６、モニタ（表示部）７および画像処理装置１０を備えている。
【００４３】
光学系１は、被写体の像をイメージセンサ２の撮像面上に結像するためのレンズ（不図示）と、当該レンズの焦点を調節するレンズ駆動機構（不図示）とを備えている。光学系１は、撮像画像を撮像したときの焦点距離を示す焦点距離情報をＣＰＵ５へ出力する。
【００４４】
イメージセンサ２は、複数のセンサがマトリクス状に配列された撮像面を有する撮像素子であり、光学系１を通して撮像面上に結像された被写体の光学的な像を画像信号に変換する。イメージセンサ２として、例えばＣＣＤ（Charge Coupled Devices）イメージセンサ、ＣＭＯＳ（Complementary Metal-Oxide-Semiconductor）イメージセンサを使用することができる。イメージセンサ２は、生成した撮像画像をメモリ３に格納する。
【００４５】
メモリ３は、撮像画像および補正後の撮像画像（補正後画像）などを格納するための記憶部であり、例えば、半導体メモリである。
【００４６】
カードリーダライタ４は、メモリカード３０に対して、撮像画像および補正後画像を読み書きする。
【００４７】
ＣＰＵ５は、デジタルカメラ１００の主制御部であり、光学系１とイメージセンサ２とを制御することにより被写体を撮像し、その撮像画像をメモリ３に格納するとともにモニタ７に表示する。同時に、ＣＰＵ５は、撮像画像と、当該撮像画像を撮像したときの焦点距離とを互いに関連付けて画像処理装置１０に入力する。その後、ＣＰＵ５は、歪みのない補正後画像を画像処理装置１０から受け取り、メモリ３に格納するとともに、補正後画像をモニタ７に表示する。また、ＣＰＵ５は、カードリーダライタ４を制御することにより補正後画像をメモリカード３０に出力する。
【００４８】
別の場合には、ＣＰＵ５は、過去の撮像画像を、カードリーダライタ４を通してメモリカード３０から読み出し、メモリ３に格納するとともにモニタ７に表示する。同時に、ＣＰＵ５は、撮像画像と焦点距離とを画像処理装置１０に入力し、歪みのない補正後画像を出力として受け取り、メモリ３に格納する。ＣＰＵ５は、補正後画像をモニタ７に表示するとともにカードリーダライタ４を用いてメモリカード３０に出力する。
【００４９】
ズームなどにより焦点距離が変化する場合には、撮像した際に撮像画像データに焦点距離を埋め込んでおけばよい。通常、デジタルカメラの撮像画像データには撮像画像そのもののデータとともにＥｘｉｆと呼ばれる情報が埋め込まれており、Ｅｘｉｆに焦点距離を格納しておけばよい。
【００５０】
モニタ７は、撮像画像および補正後画像などを表示する表示部であり、例えば、液晶ディスプレイである。
【００５１】
操作ボタン６は、デジタルカメラ１００を操作する使用者からの指示を受け付ける指示入力部である。この操作ボタン６は、タッチパネルとして機能するモニタ７に表示されるソフトキーとして実現されてもよい。
【００５２】
（３．画像処理装置１０の構成）
図１は、画像処理装置１０の構成を示すブロック図である。同図に示すように、画像処理装置１０は、焦点距離入力部１１、画像入力部１２、輪郭抽出部（線分画像生成部）１３、線分抽出部（線分画像生成部）１４、四辺形候補算出部（四辺形特定部、順位付け部）１５、四辺形選択部１６、画像補正部１７および画像出力部１８を備えている。
【００５３】
焦点距離入力部１１は、撮像画像を撮像したときの焦点距離を示す焦点距離情報をＣＰＵ５から入力として受け取り、受け取った焦点距離情報を画像補正部１７へ出力する。
【００５４】
画像入力部１２は、イメージセンサ２が生成した撮像画像をＣＰＵ５から入力として受け取り、受け取った撮像画像を輪郭抽出部１３へ出力する。
【００５５】
輪郭抽出部１３は、図４（ａ）および（ｂ）に示すように、画像入力部１２から受け取った撮像画像４１から被写体の像の輪郭を抽出することによりエッジ画像４２を生成する。なお、図４（ａ）は、撮像画像の一例を示す図であり、図４（ｂ）は、図４（ａ）に示す撮像画像から生成したエッジ画像を示す図である。なお、エッジ画像とは、処理対象の画像（すなわち、撮像画像）において輝度値が急激に（不連続に）変化している点の列を示す画像であり、当該画像に含まれる被写体の像の境界を示す曲線または線分を示す画像である。
【００５６】
線分抽出部１４は、輪郭抽出部１３が生成したエッジ画像から被写体の像の輪郭に含まれる線分である輪郭線分を抽出し、当該輪郭線分を示す線分画像を生成する。
【００５７】
このように、輪郭抽出部１３および線分抽出部１４は、被写体を撮像した撮像画像から、被写体の像の輪郭に含まれる線分である輪郭線分を抽出した線分画像を生成する線分画像生成部として機能する。
【００５８】
四辺形候補算出部１５は、線分抽出部１４が生成した線分画像に仮想的な線分である仮想線分を少なくとも１本挿入し、挿入した仮想線分および線分画像に含まれている輪郭線分の集合から４本の線分を選択し、その４本の線分をそれぞれ含む４本の直線によって囲まれる四辺形（四辺形候補）を特定する。
【００５９】
このとき四辺形候補算出部１５は、線分画像の外縁を形成する四辺のうちの少なくとも一辺に沿って（一辺に平行に）、または当該一辺に重なるように仮想線分を挿入する。挿入する仮想線分は、最低１本であるが、被写体の像の欠損部を確実に補うためには、線分画像の外縁を形成する四辺のそれぞれに対して仮想線分を挿入する（すなわち、４本の仮想線分を挿入する）ことが好ましい。この場合、四辺形候補算出部１５は、線分画像の外縁を形成する四辺のそれぞれに対して１本ずつ仮想線分を挿入する。
【００６０】
また、四辺形候補算出部１５は、四辺形候補を複数特定した場合に、各四辺形に含まれる輪郭線分および仮想線分の長さを基準として、特定された複数の四辺形候補を順位付ける。
【００６１】
四辺形選択部１６は、順位付けられた四辺候補をその順位に従ってモニタ７に表示し、複数の四辺形候補から撮像画像の補正に用いる四辺形（補正用四辺形）を使用者に選択させ、その補正用四辺形を特定する情報を使用者から受け付ける。
【００６２】
画像補正部１７は、使用者が選択した補正用四辺形に基づいて撮像画像の透視変換歪みを補正する。なお、画像補正部１７は、四辺形候補算出部１５が特定した四辺形候補が１つの場合には、その四辺形候補に基づいて撮像画像の透視変換歪みを補正する。
【００６３】
画像出力部１８は、画像補正部１７が補正した撮像画像（補正後画像）をＣＰＵ５へ出力する。この補正後画像は、モニタ７に表示されるとともにメモリ３に格納される。
【００６４】
（画像処理装置１０における処理の流れ）
次に画像処理装置１０における処理の大まかな流れについて説明する。各処理の詳細については後述する。なお、ここでは、仮想線分を４本挿入する場合の処理について説明する。
【００６５】
図５は、画像処理装置１０における処理の流れの一例を示すフローチャートである。まず、光学系１およびイメージセンサ２によって撮像画像が撮像されると、当該撮像が画像入力部１２に入力されるとともに、当該撮像画像を撮像したときの焦点距離を示す焦点距離情報が焦点距離入力部１１に入力される（ステップＳ１）。
【００６６】
画像入力部１２は、取得した撮像画像を輪郭抽出部１３へ出力する。一方、焦点距離入力部１１は、取得した焦点距離情報を画像補正部１７へ出力する。
【００６７】
輪郭抽出部１３は、画像入力部１２から撮像画像を受け取ると、受け取った撮像画像から被写体の像の輪郭を示すエッジ画像を生成する（ステップＳ２）。輪郭抽出部１３は、生成したエッジ画像を線分抽出部１４へ出力する。
【００６８】
線分抽出部１４は、受け取ったエッジ画像から被写体の像の輪郭に含まれる輪郭線分を抽出し、当該輪郭線分を示す線分画像を生成する（ステップＳ３）。線分抽出部１４は、生成した線分画像を四辺形候補算出部１５に出力する。
【００６９】
四辺形候補算出部１５は、受け取った線分画像の外縁を形成する四辺のそれぞれに沿って仮想線分を１ずつ挿入し、挿入した４本の仮想線分と線分画像に含まれる輪郭線分とを含む集合から４本の線分を選択し、選択した４本の線分をそれぞれ含む４本の直線によって囲まれる四辺形候補を算出する（ステップＳ４）。このとき四辺形候補算出部１５は、後述する条件を満たす四辺形候補を算出する。
【００７０】
そして、四辺形候補算出部１５は、算出した四辺形候補が複数存在する場合（ステップＳ５においてＹＥＳ）、各四辺形候補が有する輪郭線分および仮想線分の長さを基準として、複数の四辺形候補を順位付ける（ステップＳ６）。四辺形候補算出部１５は、順位付けした四辺形候補を示す情報を四辺形選択部１６へ出力する。
【００７１】
四辺形選択部１６は、順位付けられた四辺候補を撮像画像とともに順次モニタ７に表示することにより使用者に補正用四辺形を選択させ（ステップＳ７）、使用者が選択した補正用四辺形を特定する情報（補正用四辺形特定情報）を操作ボタン６を介して取得する（ステップＳ８）。四辺形選択部１６は、取得した補正用四辺形特定情報を画像補正部１７へ出力する。
【００７２】
一方、四辺形候補が１つしか存在しない場合（ステップＳ５においてＮＯ）、四辺形候補算出部１５は、その四辺形候補を特定する補正用四辺形特定情報を画像補正部１７へ出力する。
【００７３】
画像補正部１７は、四辺形候補算出部１５または四辺形選択部１６から出力された補正用四辺形特定情報が示す四辺形を用いて、透視変換の原理に従って撮像画像を補正する（ステップＳ９）。このとき画像補正部１７は、撮像画像から焦点距離を算出できない場合には、焦点距離入力部１１が取得した焦点距離情報を用いて撮像画像の補正を行う。
【００７４】
画像出力部１８は、画像補正部１７が補正した撮像画像をＣＰＵ５へ出力する（ステップＳ１０）。
【００７５】
なお、輪郭抽出部１３および線分抽出部１４は、生成したエッジ画像、線分画像を画像処理装置１０の各部が共通して利用可能なメモリに格納し、その画像を必要とする機能ブロックが当該メモリから当該画像を取得してもよい。
【００７６】
（輪郭抽出部１３における処理の詳細）
図６は、輪郭抽出部１３における処理の流れの一例を示すフローチャートである。最初に、輪郭抽出部１３は、画像入力部１２から受け取った撮像画像から輝度画像を生成する（ステップＳ１１）。輝度画像とは、撮像画像から輝度値の情報のみを抽出した画像であり、色情報を含まないモノクロ濃淡画像である。例えば、撮像画像の座標（ｘ，ｙ）のＲ（赤）、Ｇ（緑）、Ｂ（青）値（輝度値）がそれぞれｒ（ｘ，ｙ）、ｇ（ｘ，ｙ）、ｂ（ｘ，ｙ）であるとし、輝度画像の輝度をＬ値で表わすと、輝度画像の座標（ｘ，ｙ）の輝度値ｌ（ｘ，ｙ）は下記式（１）によって表わされる。
【００７７】
ｌ（ｘ，ｙ）＝ｃ１×ｒ（ｘ，ｙ）＋ｃ２×ｇ（ｘ，ｙ）＋ｃ３×ｂ（ｘ，ｙ） ・・・（１）
式（１）において、ｃ１、ｃ２、ｃ３は係数である。輝度画像を得るためには、例えばｃ１、ｃ２、ｃ３をすべて１／３としてＲ、Ｇ、Ｂ値の平均を取る。別の場合には、ｃ１＝０．２９９、ｃ２＝０．５８７、ｃ３＝０．１１４としてＹＵＶフォーマットのＹ値を算出してもよい。
【００７８】
次に、輪郭抽出部１３は、輝度画像からエッジ画像を生成する（ステップＳ１２）。エッジ画像を生成する手法としてはＳｏｂｅｌ、Ｐｒｅｗｉｔｔなどの画像処理フィルタを用いる方法がある。ここではＳｏｂｅｌフィルタを用いる方法を示す。Ｓｏｂｅｌフィルタはｘ、ｙ方向の輝度値の変化量である一次微分値からエッジ強度値を算出する。エッジ画像の座標（ｘ，ｙ）の値ｅ（ｘ，ｙ）は輝度画像の座標（ｘ，ｙ）の値ｌ（ｘ，ｙ）を用いて下記式（２ａ）、（２ｂ）、（２ｃ）によって表わされる。
Δｘ＝−１×ｌ（ｘ−１，ｙ−１）−２×ｌ（ｘ−１，ｙ）−１×ｌ（ｘ−１，ｙ＋１）＋１×ｌ（ｘ＋１，ｙ−１）＋２×ｌ（ｘ＋１，ｙ）＋１×ｌ（ｘ＋１，ｙ＋１） ・・・（２ａ）
Δｙ＝−１×ｌ（ｘ−１，ｙ−１）−２×ｌ（ｘ，ｙ−１）−１×ｌ（ｘ＋１，ｙ−１）＋１×ｌ（ｘ−１，ｙ＋１）＋２×ｌ（ｘ，ｙ＋１）＋１×ｌ（ｘ＋１，ｙ＋１） ・・・（２ｂ）
ｅ（ｘ，ｙ）＝（Δｘ×Δｘ＋Δｙ×Δｙ）１／２ ・・・（２ｃ）
ただし、ノイズを除去するためエッジの値ｅ（ｘ，ｙ）が所定の閾値よりも小さい場合は、ｅ（ｘ，ｙ）を０にする。
【００７９】
（線分抽出部１４における処理の詳細）
線分抽出部１４は、四辺形を抽出するための前処理として、図７（ａ）および（ｂ）に示すようにエッジ画像４２から線分を抽出し、線分画像４３を生成する。図７（ａ）は、輪郭抽出部１３が生成したエッジ画像の一例を示す図であり、図７（ｂ）は、図７（ａ）に示すエッジ画像から生成した線分画像を示す図である。線分抽出にはハフ変換を用いる。ハフ変換とはエッジ画像の座標（ｘ，ｙ）を極座標系の座標（ρ，θ）に変換することであり、下記式（３）によって座標（ｘ，ｙ）を（ρ，θ）に変換する。
【００８０】
ρ＝ｘｃｏｓθ＋ｙｓｉｎθ ・・・（３）
式（３）を図で示すと図８（ａ）および（ｂ）のようになる。図８（ａ）は、エッジ画像のｘｙ座標系における点Ａおよび点Ｂの位置を示すグラフであり、図８（ｂ）は、ｘｙ座標系の（ｘ，ｙ）座標を極座標系の座標（ρ，θ）に変換したときの点Ａおよび点Ｂに対応する曲線を示すグラフである。エッジ画像中の点Ａ、点Ｂは、極座標系ではそれぞれ１本の曲線に対応し、エッジ画像中の点Ａおよび点Ｂを通る直線は極座標系では２つの曲線の交点に対応する。ここで、ρはエッジ画像中の原点から直線への法線ベクトルの長さ、θは法線ベクトルとｘ軸が成す角度に相当する。ただし、θは０°≦θ＜１８０°であり、１８０°以上の範囲ではρが負の値で表現される。
【００８１】
値が０でないエッジ画像中の座標について、図９に示すようにハフ変換後の曲線上の座標を極座標系に投票していくと、投票数が極大となる極座標系の座標がエッジ画像中の直線に相当することになり、点Ａおよび点Ｂを通る直線が検出される。なお、図９は、ハフ変換における投票を示す図である。
【００８２】
図１０は線分抽出部１４における処理の流れの一例を示すフローチャートである。線分抽出部１４はまず、ハフ変換における投票に使用されていないエッジ点があるかを確認する（ステップＳ２１）。エッジ点とはエッジ画像においてエッジの値ｅが０でない画素のことを指す。
【００８３】
投票に使用されていないエッジ点があれば（ステップＳ２１においてＹＥＳ）、線分抽出部１４は、その中からエッジ点をランダムに選択する（ステップＳ２２）。
【００８４】
次に、線分抽出部１４は、選択したエッジ点について極座標系の曲線上の座標に投票を行う（ステップＳ２３）。
【００８５】
そして、線分抽出部１４は、直前のステップＳ２３にて投票を行った中で最大投票数となる投票数について所定の閾値以上かどうかを確認する（ステップＳ２４）。
【００８６】
最大投票数が閾値以上であれば（ステップＳ２４においてＹＥＳ）、線分抽出部１４は、投票数の極大とみなして対応する直線を算出し、算出した直線を複数の線分に変換する（ステップＳ２５）。具体的にはエッジ画像において直線上の座標を走査し、エッジ点が連なっている部分を線分（輪郭線分）として抽出する。ただし、極端に短い線分はノイズとして抽出しない。
【００８７】
線分抽出のときに線分抽出部１４は、抽出した線分上のエッジ点は直線検出に使用済みとして値を０にして除去し（ステップＳ２６）、ステップＳ２１以降の処理を繰り返す。
【００８８】
一方、最大投票数が閾値未満であれば（ステップＳ２４においてＮＯ）、線分抽出部１４は、ステップＳ２１以降の処理を繰り返す。
【００８９】
一方、投票に使用されていないエッジ点がなければ（ステップＳ２１においてＮＯ）、線分抽出部１４は、抽出した線分で線分画像を作成し（ステップＳ２７）、処理を終了する。
【００９０】
（四辺形候補算出部１５における処理の詳細）
四辺形候補算出部１５は、線分画像に含まれる線分から構成される複数の四辺形を、撮像画像の補正に用いる四辺形の候補として算出する。ただし、被写体の像が撮像画像に収まっていない場合を考慮して、線分画像の端に仮想線分を挿入する。図１１は、仮想線分４５・４６・４７・４８を挿入した線分画像４４を示す図である。同図では、線分画像４４の外縁を形成する四辺に沿って４本の仮想線分が挿入されている。
【００９１】
仮想線分の長さは、線分画像の長辺または短辺とほぼ同様の長さであってもよいし、それよりも短くてもよく、特に限定されない。また、仮想線分は、線分画像の外縁の辺に対して平行に挿入されることが好ましいが、後述する実施の形態のように仮想線分の角度を変更することもできるため、平行に挿入する必要は必ずしもない。
【００９２】
図１２は、四辺形候補算出部１５における処理の流れの一例を示すフローチャートである。四辺形候補算出部１５は、最初に線分画像に仮想線分を挿入する（ステップＳ３１）。例えば、線分画像の上下端に当該線分画像の横幅と同じ長さの仮想線分を、画像の左右端に当該線分画像の縦幅と同じ長さの仮想線分を挿入する。仮想線分の４本すべてを挿入しても良いし、４本の仮想線分のうちの１〜３本を挿入してもよい。
【００９３】
次に四辺形候補算出部１５は、仮想線分を含めて、線分画像における線分の個数が４以上であるかどうかを確認する（ステップＳ３２）。
【００９４】
線分の個数が４未満であれば（ステップＳ３２においてＮＯ）、四辺形を構成できないので四辺形候補算出部１５は処理を終了する。
【００９５】
線分の個数が４以上であれば（ステップＳ３２においてＹＥＳ）、四辺形候補算出部１５は、仮想線分を含む線分の集合から４本を選択する（ステップＳ３３）。このときこれまでに選択していない組み合わせを選択する。選択した線分４本について四辺形を構成する４辺を算出可能かどうか確認する（ステップＳ３４）。
【００９６】
具体的な確認方法を以下に示す。図１３は、四辺形候補の４辺を形成する直線を示す図である。線分を延長して直線として扱うと、図１３に示すように４本の直線から生成される交点の数は最大６個である。交点が４個未満の時は、四辺形を構成する４辺は算出不可能とする。交点が４点以上であれば、その交点の中から任意の４点を選び、選んだ４点によって上記直線を区切ることによって得られる４本の線分を４辺とする四辺形が、以下の条件をすべて満たせば四辺形候補とする。１つでも満たさない条件があれば、四辺形候補を構成する４辺は算出不可能とする。
条件１：上記４辺で構成される四辺形が凸型である。
条件２：上記４辺で構成される四辺形の隣り合う頂点間に直線が存在する。
条件３：上記４辺で構成される四辺形の向かい合う頂点間に直線が存在しない。
条件４：上記４辺のうち仮想線分を含む辺は２本以下である。
条件５：上記４辺のうち仮想線分を含む辺が２本の場合は、仮想線分は４辺で構成される四辺形の向かい合う２辺に対応する。
【００９７】
なお、条件１の判定を行う場合には、四辺形の辺を線分ベクトルと考え、隣り合う線分ベクトルで外積をとり、外積の符号がすべて一致すれば凸型と判定する。図１４は、四辺形が凸型であるかどうかを判定する方法を説明するための図である。同図に示すように、ベクトルｖ１とｖ２との外積（ｖ１×ｖ２）の符号は、ｖ１をｖ２に重ねるように時計まわりに回転させたときの角度θに対するsin θの符号となる。同図に示す例では、ｖ１×ｖ２、ｖ２×ｖ３、ｖ３×ｖ４、ｖ４×ｖ１のすべての符号が正となり（角度が１８０°未満）、四辺形は凸型であると判定する。ベクトルの取り方によってはすべての符号が負となる。
【００９８】
図１５（ａ）〜（ｄ）は、被写体の像が撮像画像に収まっていない場合の撮像画像の例を示す図である。仮想線分を用いることで図１５（ａ）〜（ｄ）に示すように、被写体の像が撮像画像に収まっていない場合であっても、被写体の像の輪郭の一部を示す四辺形を算出できる。図１５（ａ）、（ｂ）、（ｃ）は、被写体の像の輪郭を形成する４辺のうちの１辺が収まっていない場合、図１５（ｄ）は２辺が収まっていない場合を示している。
【００９９】
選択された線分４本について四辺形候補を構成する４辺を算出可能であれば（ステップＳ３４においてＹＥＳ）、四辺形候補算出部１５は、算出した４辺を四辺形候補として記憶する（ステップＳ３５）。
【０１００】
一方、四辺形を構成する４辺を算出不可能であれば（ステップＳ３４においてＮＯ）、四辺形候補算出部１５は、ステップＳ３６以降の処理を実行する。
【０１０１】
ステップＳ３５の後、四辺形候補算出部１５は、すべての線分の組み合わせを選択したかを確認する（ステップＳ３６）。
【０１０２】
すべての線分の組み合わせを選択していれば（ステップＳ３６においてＹＥＳ）、四辺形候補算出部１５は、四辺形候補を尤もらしい順番に順序付ける（ステップＳ３７）。
【０１０３】
通常、デジタルカメラの使用者は被写体をできるだけ大きく撮像すると思われる。また、単純な線分の組み合わせでは、被写体の像の輪郭を形成する線分以外の線分を四辺形候補の辺の一部としている可能性がある。これらを考慮して、四辺形候補を形成する４辺にそれぞれ対応する線分（輪郭線分および仮想線分）の長さを評価値として、評価値の降順に四辺形候補を順序付ける。仮想線分は本来の線分ではないため、四辺形に含まれる長さに対して１以下の一定の割合を掛けることにより評価値が小さくなるようにしてもよい。すなわち、四辺形候補算出部１５は、輪郭線分および仮想線分の長さと正の相関のある値を四辺形候補の評価値として用い、仮想線分の単位長さに対する評価値は、輪郭線分の上記単位長さに対する評価値よりも小さい。
【０１０４】
図１６・１７を用いて評価値の例を示す。図１６は、四辺形候補の評価値を説明するための図である。図１７（ａ）および（ｂ）は、評価値の異なる四辺形候補の具体例を示す図である。図１７において、太い破線で示す四辺形が四辺形候補を表している。図１６において線分ａ、ｂ、ｃ、ｄの長さの合計が評価値となる。四辺形候補の辺よりも、当該辺を形成する線分の方が長い場合（線分ｂ、ｄの場合）には、四辺形候補の辺を構成する当該線分の部分の長さについての評価値を用いる。
【０１０５】
図１７（ａ）に示すように被写体の像の輪郭を形成する４辺に対応する四辺形候補は各辺が長く、各辺に含まれる線分が長いため評価値は大きくなる。一方、図１７（ｂ）に示すように被写体の像の輪郭以外の線分に由来する辺を有する四辺形候補の場合は、例えば、白板中の文字の一部から四辺形候補の辺が算出された場合は、当該辺に含まれる線分が短いため評価値は小さくなる。
【０１０６】
本発明では、上述のように撮像画像から被写体の像の輪郭を形成する輪郭線分を抽出する。しかし、実際には、図１７（ｂ）に示すように、被写体の像の輪郭を形成していない線分が輪郭線分として抽出されることがある。上記評価値は、輪郭線分として抽出されるべきでなかった線分に基づいて算出された四辺形候補の優先順位を下げるための値であると言える。
【０１０７】
そして、四辺形候補算出部１５は、すべての線分の組み合わせを選択していなければ（ステップＳ３６においてＮＯ）、ステップＳ３３以降の処理を繰り返す。
【０１０８】
なお、四辺形候補算出部１５とは別に、四辺形を順位付ける順位付け部を設けてもよい。この順位付け部は、四辺形候補算出部１５が特定した複数の四辺形候補について、各四辺形候補が有する輪郭線分および仮想線分の長さを基準として、特定された複数の四辺形を順位付けるものである。
【０１０９】
（仮想線分の評価値を小さくすることの意義）
ここで、四辺形に含まれる仮想線分の長さに対して１以下の一定の割合を掛けることにより評価値を小さくすることの意義について説明する。図１８は、仮想線分の評価値を小さくすることの意義を説明するための図である。
【０１１０】
図１８において検出すべき四辺形は、線分ｓ１、ｓ２、ｓ３、ｓ４をそれぞれ含む直線で囲まれる四辺形であるとする。線分ｓ２は被写体の辺に比べて短いが、被写体が僅かに反っている場合やレンズ歪などにより被写体の辺そのものが厳密な直線ではない場合には抽出した線分が実際の辺よりも短くなる。
【０１１１】
四辺形に含まれる線分の長さをそのまま四辺形の評価値とした場合、図１８の例では、線分ｓ１、ｓ２、ｓ３、ｓ４で構成される四辺形よりも、ｓ１、仮想線分４９、ｓ３、ｓ４で構成される四辺形の評価値の方が高くなってしまう。そのため補正用四辺形として適切な四辺形を四辺形候補の上位に順位付けることが困難となる。
【０１１２】
四辺形に含まれる仮想線分の単位長さに対する評価値を、輪郭線分の単位長さに対する評価値よりも小さくすることにより、被写体の像が撮像画像に収まらない場合にのみ、仮想線分を含む四辺形が四辺形候補の上位に順位付けられる可能性を高めることができる。
【０１１３】
（四辺形選択部１６における処理の詳細）
図１９は、撮像画像および四辺形候補のモニタ７における表示例を示す図である。四辺形選択部１６は、図１９に示すように、モニタ７に撮像画像８１と四辺形候補８２とを表示する。デジタルカメラ１００の使用者が操作ボタン６を用いて複数の四辺形候補の中から１つの四辺形候補を選択すると、四辺形選択部１６は、選択された四辺形候補を撮像画像の補正に用いる補正用四辺形として画像補正部１７へ出力する。
【０１１４】
具体的には、四辺形選択部１６は、最初に最も評価値の高い四辺形候補を表示する。操作ボタン６の例を図２０に示す。次候補表示ボタン６１が押下されるたびに評価値の降順に次の四辺形候補が表示される。前候補表示ボタン６２が押下されるたびに評価値の昇順に次の四辺形候補が表示される。決定ボタン６３は表示されている四辺形候補で画像を補正する場合に押下される。すなわち、その時点で表示されている四辺形候補を補正用四辺形として特定する場合に押下される。この操作によって補正用四辺形特定情報が入力されることになる。
【０１１５】
（画像補正部１７における処理の詳細）
画像補正部１７は、以下に説明する透視変換の原理にしたがって、被写体の縦横比を算出し、撮像画像上の歪んだ四辺形を長方形に補正する。
【０１１６】
（被写体の縦横比の算出方法）
まず被写体の縦横比の算出方法を示す。図２１は、透視変換における物体の位置関係を示す図である。図２１を用いて透視変換における物体の位置関係を、レンズの中心を原点Ｏとして３次元のベクトル空間で示す。撮像面５１は光学系１の光軸５２に垂直であり、レンズ中心から撮像面５１までの距離が焦点距離ｄとなる。撮像面５１とは、デジタルカメラ１００では、イメージセンサ２における撮像面を意味する。物理的な位置関係では撮像面５１はレンズの中心に対して被写体５３とは反対の位置に存在するが、透視変換では理解の容易さの観点から図２１に示す位置関係を用いることが一般的である。
【０１１７】
被写体５３の長方形の頂点をｑ１、ｑ２、ｑ３、ｑ４とし、撮像面５１上の歪んだ四辺形５１ａの頂点をｐ１、ｐ２、ｐ３、ｐ４とする。ここで、撮像面５１は光軸５２に垂直であることから、ｐｉ（１≦ｉ≦４）を下記式（４）で定義する。
【０１１８】
【数１】
【０１１９】
このとき、ｑｉはｐｉを定数倍したものであるため、ｑｉ（１≦ｉ≦４）は、下記式（５）で表わされる。
【０１２０】
ｑｉ＝ｔｉＰｉ・・・（５）
被写体５３は長方形であるため、下記式（６ａ）および（６ｂ）が成り立つ。
【０１２１】
ｑ１−ｑ２＝ｑ３−ｑ４ ・・・（６ａ）
（ｑ１−ｑ２）・（ｑ１−ｑ３）＝０ ・・・（６ｂ）
式（６ｂ）において「・」はベクトルの内積を表す。式（６ａ）は平行四辺形となるための条件であり、式（６ｂ）は隣り合う辺が直交するための条件である。
式（５）と式（６ａ）とにより、下記式（７）が得られる。
【０１２２】
【数２】
【０１２３】
焦点距離ｄは０でないため、式（７）の行列の第３行から下記式（８）が得られる。
【０１２４】
【数３】
【０１２５】
式（５）と式（６ａ）とにより下記式（９）が得られ、式（８）を用いてこれを変形すると下記式（１０）が得られる。
【０１２６】
ｔ１ｐ１−ｔ２ｐ２＝ｔ３ｐ３−ｔ４ｐ４ ・・・（９）
【０１２７】
【数４】
【０１２８】
ここで、下記式（１１）のように変数変換すると、下記式（１２）の等式が得られる。
【０１２９】
【数５】
【０１３０】
【数６】
【０１３１】
式（１２）はｋ１、ｋ２に関する連立方程式となっており、これを解くと下記式（１３）が得られる。
【０１３２】
【数７】
【０１３３】
さらに式（６ｂ）を変換すると下記式（１４）が得られ、これを焦点距離ｄについて解くことで焦点距離が算出される。
【０１３４】
【数８】
【０１３５】
ただし、撮像面５１において被写体５３に対応する四辺形が台形上に歪んでいる場合には、下記式（１５）において分母が０となり焦点距離ｄが算出できない。
【０１３６】
【数９】
【０１３７】
その場合には、焦点距離を外部から与えてやればよい。すなわち、焦点距離入力部１１がＣＰＵ５から受け取った焦点距離情報が示す焦点距離を用いればよい。
【０１３８】
焦点距離ｄを用いて、被写体５３の縦横比は下記式（１６）で表わされる。
【０１３９】
【数１０】
【０１４０】
（画像の補正方法）
次に歪んだ四辺形を長方形に補正する方法を示す。
【０１４１】
歪みを補正するために、まず被写体５３の各頂点について撮像面５１からの距離倍率ｔｉ（１≦ｉ≦４）を定める。実際の距離倍率を算出することはできないが、透視変換では距離倍率の比ｔ１：ｔ２：ｔ３：ｔ４が保たれるように被写体５３の位置を自由に決めることができる。そこでｔ１＝１とすると、下記式（１７）のようにｔｉ（１≦ｉ≦４）を定めることができる。
【０１４２】
ｔ１＝１
ｔ２＝ｋ１ ・・・（１７）
ｔ３＝ｋ２
ｔ４＝ｋ１＋ｋ２−１
補正後の画像として、式（１６）で求めた縦横比に従う適当な大きさの長方形を用意する。このときの補正後の画素の値と補正前の歪んだ四辺形の画素との対応関係を図２２（ａ）および（ｂ）に示す。図２２（ａ）は、補正後の画像の一例を示す図であり、図２２（ｂ）は、補正前の画像に含まれる四辺形の一例を示す図である。
【０１４３】
補正後画像としての長方形５４の上下辺をｍ：（１−ｍ）に内分し、左右辺をｎ：（１−ｎ）に内分する画素値は、補正前画像に含まれる補正用四辺形５５の上辺をｔ２×ｍ：ｔ１×（１−ｍ）に内分し、下辺をｔ４×ｍ：ｔ３×（１−ｍ）に内分し、左辺をｔ３×ｎ：ｔ１×（１−ｎ）に内分し、右辺をｔ４×ｎ：ｔ２×（１−ｎ）に内分する画素値に対応する。
【０１４４】
撮像面上の物体の大きさは距離倍率に反比例するため、補正前画像に含まれる四辺形の内分比には距離倍率の逆比を掛けている。この対応関係にしたがって、バイリニア補間やバイキュービック補間などの補間法を用いることで補正後画像が算出される。バイリニア補間とは、補正前画像に含まれる四辺形において内分比にしたがって算出される位置の周辺４画素の重み付き平均画素値を補正後画像の画素値とする方法である。バイキュービック補間とは、周辺１６画素を用いて補正後画像の画素値を算出する方法である。
【０１４５】
（画像補正部１７における処理の流れ）
図２３は画像補正部１７における処理の流れの一例を示すフローチャートである。画像補正部１７は、最初に使用者によって選択された補正用四辺形から透視変換の原理に従って焦点距離を算出できるかどうかを確認する（ステップＳ４１）。
【０１４６】
焦点距離を算出できたならば（ステップＳ４１においてＹＥＳ）、画像補正部１７は、算出した焦点距離を用いて補正後画像の縦横比を算出する（ステップＳ４２）。
【０１４７】
一方、焦点距離を算出できないならば（ステップＳ４１においてＮＯ）、画像補正部１７は、焦点距離入力部１１において入力された焦点距離を用いて補正後画像の縦横比を算出する（ステップＳ４３）。
【０１４８】
その後、画像補正部１７は、補正後画像の縦横比と距離倍率とを用いて透視変換の原理に従って補正後画像を作成する（ステップＳ４４）。
【０１４９】
なお、輪郭抽出部１３、線分抽出部１４、四辺形候補算出部１５、四辺形選択部１６は、撮像画像を縮小した画像に対して上述の処理を行うことで処理コストを低減できる。
【０１５０】
〔実施の形態２〕
本発明の他の実施形態について図２４〜図２６に基づいて説明すれば、以下のとおりである。なお、実施の形態１と同様の部材に関しては、同じ符号を付し、その説明を省略する。ここでは、四辺形候補算出部１５において、四辺形候補の整形を行う実施形態について説明する。具体的には、四辺形候補算出部１５は、自身が特定した四辺形候補が有する、仮想線分を含む辺が、対向する辺と平行になるように当該仮想線分を含む辺の位置（傾き）を変更する。それゆえ、本実施の形態では、四辺形候補算出部１５は、四辺形整形部としての機能も有している。画像補正部１７は、四辺形候補算出部１５が整形した四辺形候補に基づいて撮像画像の透視変換歪みを補正する。
【０１５１】
図２４は本実施の形態に係る画像処理装置１０が備える四辺形候補算出部１５における処理の流れの一例を示すフローチャートである。四辺形候補算出部１５は、第１の実施の形態における処理に加えて、図１２に示したステップＳ３４とステップＳ３５との間に辺補正処理（ステップＳ５５）を実行する。図２４に示すステップＳ５１〜５４は、ステップＳ３１〜３４と同じであり、ステップＳ５６〜５８は、ステップＳ３５〜３７と同じである。
【０１５２】
ステップＳ５５の辺補正処理では、画像補正部１７は、四辺形候補において仮想線分を含む辺が向かい合う辺と平行になるように補正する。これにより、図２５に示すようにデジタルカメラが被写体に対して回転した状態であっても補正に必要な四辺形が得られる。図２５（ａ）は辺の位置を補正する前の四辺形候補を示す図であり、図２５（ｂ）は辺の位置を補正した後の四辺形候補を示す図である。図２５（ａ）および（ｂ）において、太い破線で示す四辺形が四辺形候補である。
【０１５３】
（辺補正処理の流れ）
図２６は、辺補正処理の流れの一例を示すフローチャートである。辺補正処理では最初に、四辺形候補算出部１５は、四辺形を構成する４本の線分のうち仮想線分の個数が１かどうかを確認する（ステップＳ６１）。
【０１５４】
仮想線分の個数が１であれば（ステップＳ６１においてＹＥＳ）、四辺形候補算出部１５は、仮想線分を含む辺が向かい合う辺と平行になるように、仮想線分を含む辺の両端の頂点のいずれか一方の位置を修正する（ステップＳ６２）。
【０１５５】
ここで、仮想線分を含む辺の両端の頂点のいずれの位置を修正してもよいが、生成される四辺形の面積が大きくなる方の頂点の位置を修正することが好ましい。その方が補正後画像に含まれる被写体の像の面積がより大きくなるからである。この場合、図２５（ｂ）に示すように、位置修正後の頂点が線分画像に収まらない可能性がある。このような場合には、線分画像と同一の座標系を有する、線分画像よりも大きな仮想的な画像（仮想画像）を形成し、その仮想画像における座標（画素の位置）を用いて四辺形候補の４つの頂点の位置を特定すればよい。
【０１５６】
その後、四辺形候補算出部１５は、修正した頂点を含む四辺形の４辺を算出する（ステップＳ６３）。
【０１５７】
一方、仮想線分の個数が１でなければ（ステップＳ６１においてＮＯ）、何もせず処理を終了する。ここで四辺形候補算出処理のステップＳ５３（図２３）における四辺形候補の選択条件４および５により、仮想線分の数は０、１または２である。仮想線分が２個であれば、それらは向かい合う平行な辺として既に配置されており、仮想線分が０個の場合はすべてが本来の線分であるため点を補正する必要がない。
【０１５８】
なお、四辺形候補算出部１５とは、別に四辺形整形部を設け、四辺形候補算出部１５が算出した四辺形候補のそれぞれについて四辺形整形部が上述の整形を行う構成にしてもよい。この場合、画像補正部１７は、四辺形整形部が整形した四辺形に基づいて撮像画像の透視変換歪みを補正する。
【０１５９】
〔実施の形態３〕
本発明の他の実施形態について図２７〜図２９に基づいて説明すれば、以下のとおりである。なお、実施の形態１・２と同様の部材に関しては、同じ符号を付し、その説明を省略する。
【０１６０】
本実施の形態では、仮想線分の挿入位置を示す挿入位置情報をデジタルカメラ１００の使用者から受け付け、四辺形候補算出部１５は、取得した挿入位置情報が示す挿入位置に仮想線分を挿入する。
【０１６１】
挿入位置情報は、操作ボタン６またはモニタ７に表示されたソフトキーを介して入力されるため、操作ボタン６またはモニタ７が挿入位置情報を取得する挿入位置情報取得部として機能する。
【０１６２】
図２７は本実施の形態にかかる画像処理装置１０が備える四辺形候補算出部１５における処理の流れの一例を示すフローチャートである。この四辺形候補算出処理では、第１の実施の形態における処理に加えて、図１２のステップＳ３１の前に使用者による仮想線分の選択処理を実行する（ステップＳ７１）。図２７に示すステップＳ７２〜７８は、ステップＳ３１〜３７と同じである。
【０１６３】
図２８（ａ）は、仮想線分を選択するときのモニタの表示画面の一例を示す図であり、図２８（ｂ）は、右端の仮想線分が選択されたときのモニタ７の表示画面を示す図である。仮想線分の挿入（ステップＳ７１）では、使用者によって選択された仮想線分だけが挿入される。この仮想線分の選択では、図２８（ａ）に示すように、四辺形候補算出部１５は、モニタ７に撮像画像７５を表示するとともに、仮想線分の挿入位置を示すカーソル７１〜７４を撮像画像７５の上下左右の外縁部の近傍にそれぞれ表示する。
【０１６４】
デジタルカメラの使用者は、操作ボタン６を用いて仮想線分の挿入位置を決定する。使用者が右端の仮想線分を選択した場合、図２８（ｂ）に示すように右端の仮想線分に対応するカーソル７２の色が変化する。
【０１６５】
仮想線分の挿入位置を入力するための操作ボタン６の例を図２９に示す。右線分選択ボタン６０１が押下されると右端の仮想線分が選択される。再度、右線分選択ボタン６０１が押下されると右端の仮想線分の選択が解除される。同様に、操作ボタン６には左線分選択ボタン６０２、上線分選択ボタン６０３、下線分選択ボタン６０４が配置される。決定ボタン６０５が押下されると選択が完了する。
【０１６６】
なお、図２９に示す操作ボタン６と図２０に示す操作ボタン６とは部品を共通化してもよい。たとえば、右線分選択ボタン６０１と次候補表示ボタン６１、左線分選択ボタン６０２と前候補表示ボタン６２、決定ボタン６０５と決定ボタン６３とは部品を共通化できる。
【０１６７】
また、操作ボタン６は必ずしも物理的なボタンとして実現する必要はない。例えば、モニタ７にタッチ位置を検出するタッチパネルを設け、モニタ７に表示されたカーソル７１〜７４などの図形のタッチを検出して、ボタン押下時と同じ処理を行うようにしてもよい。
【０１６８】
〔実施の形態４〕
本発明の他の実施形態について図３０〜図３２に基づいて説明すれば、以下のとおりである。なお、実施の形態１〜３と同様の部材に関しては、同じ符号を付し、その説明を省略する。
【０１６９】
（画像処理装置２０の構成）
図３０は、本実施の形態に係る画像処理装置２０の構成を示すブロック図である。同図に示すように画像処理装置２０は、仮想線分を挿入する位置を判定する挿入位置判定部１９を備えている点で画像処理装置１０と異なっている。
【０１７０】
挿入位置判定部１９は、撮像画像における被写体の像が、当該撮像画像の外縁を形成する四辺のいずれと交差しているかを判定することにより仮想線分の挿入位置を判定する。すなわち、挿入位置判定部１９は、被写体の像が接している撮像画像の外縁の辺を、仮想線分の挿入位置として判定する。
【０１７１】
例えば、図４(ａ)に示すように被写体の像の右側が撮像画像の右端の辺と接している場合には、挿入位置判定部１９は、撮像画像の右端を仮想線分の挿入位置として判定する。
【０１７２】
四辺形候補算出部１５は、挿入位置判定部１９が判定した辺の近傍または当該辺に重なるように仮想線分を挿入する。四辺形候補算出部１５のその後の処理は、上述した実施の形態１における処理と同様である。
【０１７３】
（挿入位置判定部１９における処理の詳細）
次に、挿入位置判定部１９における挿入位置判定処理の詳細について説明する。図３１は挿入位置判定部１９における処理の流れの一例を示すフローチャートである。図３２（ａ）および（ｂ）は、挿入位置判定部１９における挿入位置判定処理を説明するための図である。
【０１７４】
まず、挿入位置判定部１９は、撮像画像を二値化する（ステップＳ８１）。二値化の方法として例えば大津の方法を用いることができる。大津の方法とは、撮像画像の輝度成分についてヒストグラムを取り、ある閾値によってヒストグラムを２つの領域に分類した場合の領域間分散が最大となるような閾値を選択する方式である。二値化により、各画素は白画素と黒画素に分類される。
【０１７５】
次に、挿入位置判定部１９は、ノイズ除去のために二値化画像に対して膨張処理と収縮処理とを複数回施す（ステップＳ８２）。膨張処理は白画素に隣接する黒画素を白画素にする処理であり、小さな黒画素領域を白画素領域に統合できる。収縮処理は、黒画素に隣接する白画素を黒画素にする処理であり、小さな白画素領域を黒画素領域に統合できる。複数回の膨張処理の後、同じ回数の収縮処理を施す手法をクロージングと呼び、複数回の収縮処理の後、同じ回数の膨張処理を施すことをオープニングと呼ぶ。クロージングとオープニングを順に施すことによりノイズを除去できる。
【０１７６】
図３２（ａ）および（ｂ）は、挿入位置判定部における挿入位置判定処理を説明するための図である。次に、挿入位置判定部１９は、図３２（ａ）に示すように、ノイズ除去ずみの二値化画像にラベリング処理を施す（ステップＳ８３）。この処理では、連結した白画素領域または黒画素領域に数字を割り振る。
【０１７７】
その後、挿入位置判定部１９は、図３２（ｂ）に示すように、ラベリングした領域の面積について、所定の閾値より小さい面積は周囲の領域に統合する（ステップＳ８４）。
【０１７８】
そして、挿入位置判定部１９は、画像の中心は被写体の像に属するものと考え、中心画素を含む領域が撮像画像の外縁の辺のうちのどの辺に隣接しているかを判定する（ステップＳ８５）。そして、挿入位置判定部１９は、被写体の像が隣接している撮像画像の辺の位置を仮想線分挿入位置として四辺形候補算出部１５へ出力する。
【０１７９】
なお、ステップＳ８５において、ノイズを考慮して、撮像画像の中心付近の複数画素で最も多いラベルの領域を被写体の領域としても構わない。
【０１８０】
また、ステップＳ８５において、被写体の像がいずれの撮像画像の辺とも接していないと判定した場合には、挿入位置判定部１９は、仮想線分を挿入する必要がない旨を示す情報を四辺形候補算出部１５へ出力すればよい。この場合には、四辺形候補算出部１５は、仮想線分を挿入せずに四辺形候補の算出を行う。
【０１８１】
〔実施の形態５〕
本発明の他の実施形態について図３３に基づいて説明すれば、以下のとおりである。
【０１８２】
（１．コンピュータの構成）
図３３は、本実施の形態にかかるコンピュータ２００の構成を示す図である。
【０１８３】
コンピュータ２００は、入力装置であるキーボード２０１およびマウス２０２と、ＣＰＵ（Central Processing Unit）２０４と、ＲＯＭ（Read Only Memory）およびＲＡＭ（Random Access Memory）を含むメモリ２０６と、固定ディスク（記憶部）２０７と、出力インターフェース２０３とを備える。コンピュータ２００は出力インターフェース２０３を通じて、表示画像をモニタ２０５に出力する。
【０１８４】
コンピュータ２００は、ＣＤ−ＲＯＭ（Compact Disk Read-Only Memory）２１２などの光ディスクからデータを読取可能な光ディスクドライブ２０９と、フレキシブルディスク（ＦＤ：Flexible Disk）２１１からデータを読取可能なＦＤドライブ２０８と、外部装置とデータ授受可能な通信モジュール２１０とをさらに備える。
【０１８５】
ＣＰＵ２０４に、画像処理装置１０または画像処理装置２０における上述の各処理を実行させるための画像処理プログラムは、ＣＤ−ＲＯＭ２１２やフレキシブルディスク２１１などの記録媒体に格納されて流通し、光ディスクドライブ２０９やＦＤドライブ２０８などによって読取られて固定ディスク２０７にインストールされる。
【０１８６】
なお、コンピュータ２００において画像処理プログラムを格納する記憶部は、固定ディスクに限定されず、ＳＳＤ（Solid State Drive）などのフラッシュメモリ（半導体メモリ）であってもよい。
【０１８７】
このような形態に替えて、コンピュータ２００が通信モジュール２１０を介してネットワーク接続されている場合には、ネットワーク上のサーバから送信される画像処理プログラムを受信して、固定ディスク２０７にインストールするようにしてもよい。
【０１８８】
なお、ネットワーク経由で画像処理プログラムを受信する場合には、固定ディスク２０７にインストールすることなくＲＡＭ上にロードした上で当該画像処理プログラムを実行してもよい。
【０１８９】
なお、画像処理プログラムを格納する記録媒体は、ＣＤ−ＲＯＭ２１２やフレキシブルディスク２１１に限られず、たとえば、ＤＶＤ−ＲＯＭ（Digital Versatile Disk）やメモリカードであってもよく、その場合には、コンピュータ２００にそのような記録媒体を読取可能なドライブ装置が設けられる。
【０１９０】
ＣＰＵ２０４は、固定ディスク２０７にインストールされた画像処理プログラムを読み出して実行することにより、上述の焦点距離入力部１１、画像入力部１２、輪郭抽出部１３、線分抽出部１４、四辺形候補算出部１５、四辺形選択部１６、画像補正部１７、画像出力部１８および挿入位置判定部１９としての機能を実現する。
【０１９１】
具体的には、ＣＰＵ２０４は、デジタルカメラの撮像画像を固定ディスク２０７またはＣＤ−ＲＯＭ２１２またはフレキシブルディスク２１１から読み出し、メモリ２０６に格納するとともにモニタ２０５に表示する。そして、ＣＰＵ２０４は、撮像画像から歪みのない補正後画像を作成し、メモリ２０６に格納するとともに出力インターフェース２０３を介してモニタ２０５に表示する。
【０１９２】
（２．コンピュータの処理の流れ）
本実施の形態にかかるコンピュータ２００の処理の流れは、実施の形態１の画像処理装置１０における処理の流れ（図５参照）とほぼ同様である。以下、各処理の詳細において、実施の形態１と異なる部分について説明する。
【０１９３】
焦点距離入力部１１は、補正の対象となる撮像画像を撮像したときの焦点距離をメモリ２０６に格納する。焦点距離は撮像画像データに含まれるＥｘｉｆから読み取っても良いし、以前に撮像画像を補正した際に算出された焦点距離を、当該撮像画像と対応付けて固定ディスク２０７に保存しておき、その焦点距離をメモリ２０６に読み込んでもよい。
【０１９４】
画像入力部１２、輪郭抽出部１３、線分抽出部１４、四辺形候補算出部１５は、実施の形態１と同様であるため、その説明を省略する。
【０１９５】
四辺形選択部１６は、出力インターフェース２０３を介してモニタ２０５に撮像画像と四辺形候補とを表示し、コンピュータ２００の使用者が操作ボタン６の代わりにキーボード２０１とマウス２０２とを用いて四辺形候補の中から四辺形を選択する。例えば図２０で示した操作ボタンの図柄をモニタ２０５に表示し、マウス２０２でクリック操作がなされた際に操作ボタンが押下された場合に対応する処理を実行する。
【０１９６】
画像補正部１７における処理は、実施の形態１と同様であるため、その説明を省略する。
【０１９７】
画像出力部１８は、補正後画像をメモリ２０６に格納するとともにモニタ２０５に表示する。
【０１９８】
なお、図３３に示すコンピュータ２００で行う処理の一部を、通信モジュールを介して接続された他のコンピュータで行ってもよい。例えば、コンピュータ２００は撮像画像を送信し、他のコンピュータで算出された四辺形候補を受信してモニタ２０５に表示する。コンピュータ２００は使用者によって選択された四辺形を送信し、他のコンピュータで作成された補正後画像を受信してモニタ２０５に表示する。
【０１９９】
別の場合には、コンピュータ２００は撮像画像を送信し、最も評価値の高い四辺形候補を用いて他のコンピュータにより補正された補正後画像を受信してモニタ２０５に表示する。
【０２００】
（その他の変更例）
本発明は上述した各実施形態に限定されるものではなく、請求項に示した範囲で種々の変更が可能であり、異なる実施形態にそれぞれ開示された技術的手段を適宜組み合わせて得られる実施形態についても本発明の技術的範囲に含まれる。
【０２０１】
また、上述したデジタルカメラ１００の各ブロック、特に画像処理装置１０・２０の各ブロックは、ハードウェアロジックによって構成してもよいし、次のようにＣＰＵを用いてソフトウェアによって実現してもよい。
【０２０２】
すなわち、画像処理装置１０・２０は、各機能を実現する制御プログラムの命令を実行するＣＰＵ（central processing unit）、上記プログラムを格納したＲＯＭ（read only memory）、上記プログラムを展開するＲＡＭ（random access memory）、上記プログラムおよび各種データを格納するメモリ等の記憶装置（記録媒体）などを備えている。そして、本発明の目的は、上述した機能を実現するソフトウェアである画像処理装置１０・２０の制御プログラム（画像処理プログラム）のプログラムコード（実行形式プログラム、中間コードプログラム、ソースプログラム）をコンピュータで読み取り可能に記録した記録媒体を、上記画像処理装置１０・２０に供給し、そのコンピュータ（またはＣＰＵやＭＰＵ）が記録媒体に記録されているプログラムコードを読み出し実行することによっても、達成可能である。
【０２０３】
上記記録媒体としては、例えば、磁気テープやカセットテープ等のテープ系、フロッピー（登録商標）ディスク／ハードディスク等の磁気ディスクやＣＤ−ＲＯＭ／ＭＯ／ＭＤ／ＤＶＤ／ＣＤ−Ｒ等の光ディスクを含むディスク系、ＩＣカード（メモリカードを含む）／光カード等のカード系、あるいはマスクＲＯＭ／ＥＰＲＯＭ／ＥＥＰＲＯＭ／フラッシュＲＯＭ等の半導体メモリ系などを用いることができる。
【０２０４】
また、画像処理装置１０・２０を通信ネットワークと接続可能に構成し、上記プログラムコードを通信ネットワークを介して供給してもよい。この通信ネットワークとしては、特に限定されず、例えば、インターネット、イントラネット、エキストラネット、ＬＡＮ、ＩＳＤＮ、ＶＡＮ、ＣＡＴＶ通信網、仮想専用網（virtual private network）、電話回線網、移動体通信網、衛星通信網等が利用可能である。また、通信ネットワークを構成する伝送媒体としては、特に限定されず、例えば、ＩＥＥＥ１３９４、ＵＳＢ、電力線搬送、ケーブルＴＶ回線、電話線、ＡＤＳＬ回線等の有線でも、ＩｒＤＡやリモコンのような赤外線、Ｂｌｕｅｔｏｏｔｈ（登録商標）、８０２．１１無線、ＨＤＲ（high data rate）、携帯電話網、衛星回線、地上波デジタル網等の無線でも利用可能である。なお、本発明は、上記プログラムコードが電子的な伝送で具現化された、搬送波に埋め込まれたコンピュータデータ信号の形態でも実現され得る。
【０２０５】
なお、本発明は、以下のようにも表現できる。
【０２０６】
すなわち、本発明の画像処理装置は、画像入力部と、前記画像入力部にて入力された画像から線分を抽出する線分抽出部と、前記画像に仮想的な線分（仮想線分）を挿入する仮想線分挿入部と、前記線分抽出部により得られた線分（抽出線分）と前記仮想線分から四辺形候補を算出する四辺形候補算出部と、前記四辺形候補算出部にて算出された四辺形に基づいて画像の透視変換歪みを補正する画像補正部とを備えている。
【０２０７】
また、前記仮想線分挿入部は、前記仮想線分を前記画像の上下左右端の中から一つまたは複数の位置に挿入することが好ましい。
【０２０８】
また、前記仮想線分の挿入位置を画像処理装置の使用者に選択させるための選択指示部を備え、前記仮想線分挿入部は、前記選択指示部により選択された位置に前記仮想線分を挿入することが好ましい。
【０２０９】
また、前記四辺形候補算出部は、前記四辺形候補において前記仮想線分を含む辺の位置を向かい合う辺と平行になるように補正することが好ましい。
【０２１０】
また、前記四辺形候補算出部は、前記四辺形候補に含まれる前記抽出線分と前記仮想線分の長さに基づく評価値によって前記四辺形候補の順序付けを行うことが好ましい。
【０２１１】
また、前記評価値は、前記仮想線分の長さに基づく評価値を前記抽出線分の長さに基づく評価値よりも小さくすることが好ましい。
【産業上の利用可能性】
【０２１２】
本発明は、撮像画像に含まれる被写体の像の歪み補正を行う画像処理装置として利用することができる。
【符号の説明】
【０２１３】
１０ 画像処理装置
１３ 輪郭抽出部（線分画像生成部）
１４ 線分抽出部（線分画像生成部）
１５ 四辺形候補算出部（四辺形特定部、四辺形整形部、順位付け部）
１７ 画像補正部
１９ 挿入位置判定部（判定部）
２０ 画像処理装置
４１ 撮像画像
４４ 線分画像
４５・４６・４７・４８・４９ 仮想線分
５３ 被写体
５５ 四辺形
１００ デジタルカメラ（画像処理装置）
１１０ 白板（被写体）
１１１ 撮像画像
１１３ 補正後画像
２００ コンピュータ（画像処理装置）
【特許請求の範囲】
【請求項１】
被写体を撮像した撮像画像から、上記被写体の像の輪郭に含まれる線分である輪郭線分を抽出した線分画像を生成する線分画像生成部と、
上記線分画像生成部が生成した線分画像に仮想的な線分である仮想線分を少なくとも１本挿入し、挿入した仮想線分および上記輪郭線分の集合から４本の線分を選択し、その４本の線分をそれぞれ含む４本の直線によって囲まれる四辺形を特定する四辺形特定部と、
上記四辺形特定部が特定した四辺形に基づいて上記撮像画像の透視変換歪みを補正する画像補正部とを備えることを特徴とする画像処理装置。
【請求項２】
上記四辺形特定部は、上記線分画像の外縁を形成する四辺のうちの少なくとも一辺に沿ってまたは当該一辺に重なるように上記仮想線分を挿入することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
上記四辺形特定部は、上記線分画像の外縁を形成する四辺のそれぞれに対して上記仮想線分を挿入することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
上記仮想線分の挿入位置を示す挿入位置情報を使用者から受け付ける挿入位置情報取得部をさらに備え、
上記四辺形特定部は、上記挿入位置情報取得部が取得した挿入位置情報が示す挿入位置に上記仮想線分を挿入することを特徴とする請求項１または２に記載の画像処理装置。
【請求項５】
上記撮像画像における上記被写体の像が、当該撮像画像の外縁を形成する四辺のいずれと接しているかを判定する判定部をさらに備え、
上記四辺形特定部は、上記判定部が判定した辺に沿って、または当該辺に重なるように上記仮想線分を挿入することを特徴とする請求項１に記載の画像処理装置。
【請求項６】
上記四辺形特定部が特定した四辺形が有する、上記仮想線分を含む辺が、対向する辺と平行になるように当該仮想線分を含む辺の位置を変更する四辺形整形部をさらに備え、
上記画像補正部は、上記四辺形整形部が整形した四辺形に基づいて上記撮像画像の透視変換歪みを補正することを特徴とする請求項１〜５のいずれか１項に記載の画像処理装置。
【請求項７】
上記四辺形特定部が上記四辺形を複数特定した場合に、各四辺形に含まれる輪郭線分および仮想線分の長さを基準として、特定された複数の四辺形を順位付ける順位付け部をさらに備えることを特徴とする請求項１〜６のいずれか１項に記載の画像処理装置。
【請求項８】
上記四辺形特定部は、上記輪郭線分および上記仮想線分の長さと正の相関のある値を上記四辺形の評価値として用い、
上記仮想線分の単位長さに対する評価値は、上記輪郭線分の上記単位長さに対する評価値よりも小さいことを特徴とする請求項７に記載の画像処理装置。
【請求項９】
画像処理装置における画像処理方法であって、
被写体を撮像した撮像画像から、上記被写体の像の輪郭に含まれる線分である輪郭線分を抽出した線分画像を生成する線分画像生成工程と、
上記線分画像生成工程において生成した線分画像に仮想的な線分である仮想線分を少なくとも１本挿入し、挿入した仮想線分および上記輪郭線分の集合から４本の線分を選択し、その４本の線分をそれぞれ含む４本の直線によって囲まれる四辺形を特定する四辺形特定工程と、
上記四辺形特定工程において特定した四辺形に基づいて上記撮像画像の透視変換歪みを補正する画像補正工程とを含むことを特徴とする画像処理方法。
【請求項１０】
請求項９に記載の上記各工程をコンピュータに実行させるための画像処理プログラム。
【請求項１１】
請求項１０に記載の画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体。
【請求項１】
被写体を撮像した撮像画像から、上記被写体の像の輪郭に含まれる線分である輪郭線分を抽出した線分画像を生成する線分画像生成部と、
上記線分画像生成部が生成した線分画像に仮想的な線分である仮想線分を少なくとも１本挿入し、挿入した仮想線分および上記輪郭線分の集合から４本の線分を選択し、その４本の線分をそれぞれ含む４本の直線によって囲まれる四辺形を特定する四辺形特定部と、
上記四辺形特定部が特定した四辺形に基づいて上記撮像画像の透視変換歪みを補正する画像補正部とを備えることを特徴とする画像処理装置。
【請求項２】
上記四辺形特定部は、上記線分画像の外縁を形成する四辺のうちの少なくとも一辺に沿ってまたは当該一辺に重なるように上記仮想線分を挿入することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
上記四辺形特定部は、上記線分画像の外縁を形成する四辺のそれぞれに対して上記仮想線分を挿入することを特徴とする請求項１または２に記載の画像処理装置。
【請求項４】
上記仮想線分の挿入位置を示す挿入位置情報を使用者から受け付ける挿入位置情報取得部をさらに備え、
上記四辺形特定部は、上記挿入位置情報取得部が取得した挿入位置情報が示す挿入位置に上記仮想線分を挿入することを特徴とする請求項１または２に記載の画像処理装置。
【請求項５】
上記撮像画像における上記被写体の像が、当該撮像画像の外縁を形成する四辺のいずれと接しているかを判定する判定部をさらに備え、
上記四辺形特定部は、上記判定部が判定した辺に沿って、または当該辺に重なるように上記仮想線分を挿入することを特徴とする請求項１に記載の画像処理装置。
【請求項６】
上記四辺形特定部が特定した四辺形が有する、上記仮想線分を含む辺が、対向する辺と平行になるように当該仮想線分を含む辺の位置を変更する四辺形整形部をさらに備え、
上記画像補正部は、上記四辺形整形部が整形した四辺形に基づいて上記撮像画像の透視変換歪みを補正することを特徴とする請求項１〜５のいずれか１項に記載の画像処理装置。
【請求項７】
上記四辺形特定部が上記四辺形を複数特定した場合に、各四辺形に含まれる輪郭線分および仮想線分の長さを基準として、特定された複数の四辺形を順位付ける順位付け部をさらに備えることを特徴とする請求項１〜６のいずれか１項に記載の画像処理装置。
【請求項８】
上記四辺形特定部は、上記輪郭線分および上記仮想線分の長さと正の相関のある値を上記四辺形の評価値として用い、
上記仮想線分の単位長さに対する評価値は、上記輪郭線分の上記単位長さに対する評価値よりも小さいことを特徴とする請求項７に記載の画像処理装置。
【請求項９】
画像処理装置における画像処理方法であって、
被写体を撮像した撮像画像から、上記被写体の像の輪郭に含まれる線分である輪郭線分を抽出した線分画像を生成する線分画像生成工程と、
上記線分画像生成工程において生成した線分画像に仮想的な線分である仮想線分を少なくとも１本挿入し、挿入した仮想線分および上記輪郭線分の集合から４本の線分を選択し、その４本の線分をそれぞれ含む４本の直線によって囲まれる四辺形を特定する四辺形特定工程と、
上記四辺形特定工程において特定した四辺形に基づいて上記撮像画像の透視変換歪みを補正する画像補正工程とを含むことを特徴とする画像処理方法。
【請求項１０】
請求項９に記載の上記各工程をコンピュータに実行させるための画像処理プログラム。
【請求項１１】
請求項１０に記載の画像処理プログラムを記録したコンピュータ読み取り可能な記録媒体。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２０】
【図２１】
【図２２】
【図２３】
【図２４】
【図２５】
【図２６】
【図２７】
【図２８】
【図２９】
【図３０】
【図３１】
【図３２】
【図３３】
【公開番号】特開２０１１−９７２５１（Ｐ２０１１−９７２５１Ａ）
【公開日】平成２３年５月１２日（２０１１．５．１２）
【国際特許分類】
【出願番号】特願２００９−２４７７８８（Ｐ２００９−２４７７８８）
【出願日】平成２１年１０月２８日（２００９．１０．２８）
【特許番号】特許第４６３０９３６号（Ｐ４６３０９３６）
【特許公報発行日】平成２３年２月９日（２０１１．２．９）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
【公開日】平成２３年５月１２日（２０１１．５．１２）
【国際特許分類】
【出願日】平成２１年１０月２８日（２００９．１０．２８）
【特許番号】特許第４６３０９３６号（Ｐ４６３０９３６）
【特許公報発行日】平成２３年２月９日（２０１１．２．９）
【出願人】（０００００５０４９）シャープ株式会社 (33,933)
【Ｆターム（参考）】
[ Back to top ]