画像処理装置及びその処理方法
【課題】魚眼レンズのような超広視野光学系レンズで撮影された画像においても、光学的射影方式に応じて歪曲補正を簡便かつ適切に補正することができる仕組みを提供する。
【解決手段】表示装置に補正対象の画像を入力する画像入力部２００と、操作者の操作に基づいて、補正対象の画像に固有の光学特性としての第１の射影方式による画像を第２の射影方式に変換する射影方式変換部２０１と、第２の射影方式に応じた調整用補助線を作成する調整補助線作成部２０５と、調整補助線作成部２０５によって作成された調整用補助線を表示装置に第２の射影方式によって変換された画像とともにオーバーレイ表示する表示部２０２及び２０６と、操作者の操作に基づいて、第２の射影方式による画像の歪曲補正を行う歪曲補正実行部２０３を有する。
【解決手段】表示装置に補正対象の画像を入力する画像入力部２００と、操作者の操作に基づいて、補正対象の画像に固有の光学特性としての第１の射影方式による画像を第２の射影方式に変換する射影方式変換部２０１と、第２の射影方式に応じた調整用補助線を作成する調整補助線作成部２０５と、調整補助線作成部２０５によって作成された調整用補助線を表示装置に第２の射影方式によって変換された画像とともにオーバーレイ表示する表示部２０２及び２０６と、操作者の操作に基づいて、第２の射影方式による画像の歪曲補正を行う歪曲補正実行部２０３を有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及びその処理方法に関し、特に、超広視野を実現する魚眼レンズの単焦点あるいはズーム光学系を用いて撮像された画像の画像処理手法に関する。
【背景技術】
【０００２】
魚眼光学系や全方位光学系等に代表される超広視野光学系は、監視・遠隔操作、ＴＶ会議、医療用内視鏡、科学的測量等の様々な分野で利用されている。その特徴は、画角１８０度前後の超広視野像を特殊な射影方式により撮像面の有限領域に投影可能な点である。これにより、一般的な中心射影（透視投影）方式で撮像する撮像装置では理論的に撮像できないような超広視野像を撮像できる。
【０００３】
しかしながら、超広視野像を撮像するための魚眼光学系等の特殊な射影方式の光学系は、撮像される像の被写体形状を歪ませるため、人間が観察する観点では本来の被写体形状との相違が著しい。それでも、その特殊な射影方式には、それぞれの目的、利用意図があり、とくに測量等に使用する目的の場合は、その歪みにみえる部分が光学的に正しい画像であることが望まれる。
【０００４】
ここで、魚眼レンズを含む、いわゆる超広視野光学系レンズにおける光学的な射影方式について言及しておく。
【０００５】
魚眼レンズとは本来、１８０度前後の視野を感光面に射影できる屈折レンズを指すが、ここでは反射鏡やプリズムを用いて広視野を得る光学系も含めて魚眼レンズと呼ぶ。厳密には、魚眼レンズは広い画角によってではなく、その射影方式によって定義される。簡単にその射影の種類について述べる。
【０００６】
以下、射影方式の原理に関して図８を参照して説明する。
図８は、射影方式の原理、特に、正射影方式の原理を説明するイメージ図である。
【０００７】
図８において、半球面Ｇは、魚眼レンズによって結像面上に結像される画像の範囲を直径とした仮想球面である。ここで、すべての射影方式において、画像の中心Ｏが球面Ｇの天頂に相当する。そして画像内の一点Ｐ（これを像点と呼ぶ）に着目する。
【０００８】
それぞれの射影方式による画像における中心Ｏからその像点Ｐまでの距離（これを像高と呼ぶ）は入射光の天頂角（入射角と呼ぶ）と特定の関係がある。ここで、像高をｒｐ、入射角をθとしてその関係を数式で表す。
【０００９】
（ａ）等距離射影方式（Equidistant Projection）
像高ｒｐは、入射角θに比例する。一般的な魚眼レンズに多い。
ｒｐ ∝ θ ・・・（式１）
【００１０】
（ｂ）平射影方式（Stereographic Projection）
像高ｒｐは、入射角θの半角の正接に比例する。
ｒｐ ∝ ｔａｎ（θ／２） ・・・（式２）
【００１１】
（ｃ）等立体角射影方式（Equisolidangle Projection）
像高ｒｐは、入射角θの半角の正弦に比例する。
ｒｐ ∝ ｓｉｎ（θ／２） ・・・（式３）
被写体のとる立体角と像の面積が比例するという特徴があり、画面上の面積を測定することで、被写体の面積比が正しく出せる。この特徴を利用して、全天の雲量測定や森林の植生分布などの測量に利用される。
【００１２】
（ｄ）正射影方式（Orthographic Projection）
像高ｒｐは、入射角θの正弦に比例する。
ｒｐ ∝ ｓｉｎ θ ・・・（式４）
これは、天球をそのままフィルム面、像側に射影したものに等しい。画面に占める面光源の面積が撮影した場所での照度に比例という特徴があり、これより照度測定や建築照明など学術研究用途に利用されることが多い。
例示した図８は上記（ｄ）の正射影方式に相当する射影原理イメージになる。
【００１３】
従来の歪曲補正と呼ばれる画像補正処理は、歪みのない中心射影画像に変換するものである。通常の光学レンズは、中心射影方式で撮像されるよう光学設計されているが、それでも、像高の大きな領域では、レンズの特性、製造誤差など、さまざまな要因で歪みが残っている場合がある。歪曲補正は、この歪みがないように補正するものである。
【００１４】
また、歪曲補正処理において魚眼レンズで撮影した画像に対応しようとする考案も多数開示されている。即ち、魚眼レンズで撮影された歪みを有する画像から、歪みのない画像を生成しようとするものである。
【００１５】
例えば、下記の特許文献１では、等距離射影方式の魚眼レンズで撮影された画像データを中心射影方式の画像に変換する画像変換装置が開示されている。
更には、特許文献２においては、同じく魚眼レンズの撮像画像データを中心射影方式に変換する画像変換装置が開示されている。
【００１６】
魚眼レンズでは、前述したように、それぞれの射影方式により画像の写り方が異なり、特に像高の高い部分と中心領域では撮像されている物体の形状が本来のものとは大きく異なる。
【００１７】
図９は、魚眼レンズによる撮影画像を中心射影に変換した場合の画像のイメージ図である。具体的に、図９（ａ）は、魚眼レンズによる撮影画像のイメージ図である。そして、この画像イメージ図を、歪みのない中心射影に変換することを目的とした従来の歪曲補正したものが図９（ｂ）に示したものである。この図９からもわかるように、像高の大きな部分で、同心円の間隔が広がり、画像が元の画像よりも横方向に非常に大きくなる。
【００１８】
このような画像の歪曲補正の微調整を支援するための画像処理装置上のユーザーインターフェースも案出されている。例えば、撮影時のレンズに対する歪曲収差補正について、撮影距離などのパラメータを調整しながら調整用補助線としての水平垂直線を画像にオーバーレイ（重ねて）表示することで、この調整用補助線である直線を目安に、補正具合を調整する機能が案出されている。
【先行技術文献】
【特許文献】
【００１９】
【特許文献１】特開２００７−１５６７９５号公報
【特許文献２】特開２００８−３０１０５２号公報
【発明の概要】
【発明が解決しようとする課題】
【００２０】
今までは、歪みのない中心射影の画像を得ることを目的としていたので、前述したように撮影された被写体あるいは調整用補助線の水平垂直線を目安として歪曲収差補正を行っていた。
【００２１】
ここで、中心射影方式ではなく、上述した等距離射影方式や平射影方式といった特殊な射影方式における正確な画像を得たいという要望もある。つまり、魚眼レンズに含まれる光学特性による誤差や、射影方式の変換処理による演算誤差などを除去した、それぞれの射影方式で求められる理想的な歪みを高い精度で満たした画像が望まれることがある。しかしながら、このような特殊な射影方式の画像については、もともと水平垂直線が歪んでいる状態が正常であるため、この誤差の補正を高精度に行う際に、画像中の被写体や調整確認用に表示されている補助線の水平垂直線を目安として用いることができない。
【００２２】
更には、前述したように各射影方式による魚眼画像には、それぞれ学術的な利用目的がある場合があり、歪みを完全に無くした通常の画像ではなく、任意の射影方式で魚眼レンズとして光学的、幾何学的に正しい撮影画像が補正後の画像として必要である。それゆえに、特殊な射影方式の理想的な画像を得るための光学特性の補正としての歪曲補正の重要性が高い。ここでいう歪曲補正とは、所定の射影方式で求められる理想的な歪みとの誤差によって生じる歪みを解消するための補正処理を指している。即ち、この歪曲補正は、中心射影方式だけではなく、等距離射影方式や平射影方式といった理想的な歪みが定義されている特殊な射影方式の画像を得るための補正処理を含むものとする。
【００２３】
本発明は、このような問題点に鑑みてなされたものであり、魚眼レンズのようないわゆる超広視野光学系レンズで撮影された画像においても、光学的射影方式に応じて歪曲補正を簡便かつ適切に補正することができる仕組みを提供することを目的とする。
【課題を解決するための手段】
【００２４】
本発明の画像処理装置は、表示装置に表示された操作画面にしたがって補正対象の画像を補正する画像処理装置であって、前記表示装置に前記補正対象の画像を入力する画像入力手段と、操作者の操作に基づいて、前記補正対象の画像に固有の光学特性としての第１の射影方式による画像を第２の射影方式に変換する射影方式変換手段と、前記第２の射影方式に応じた調整用補助線を作成する調整補助線作成手段と、前記調整補助線作成手段によって作成された調整用補助線を前記表示装置に前記第２の射影方式によって変換された画像とともにオーバーレイ表示する表示手段と、操作者の操作に基づいて、前記第２の射影方式による画像の歪曲補正を行う歪曲補正実行手段とを有する。
また、本発明は、上述した画像処理装置による画像処理方法、及び、当該画像処理方法をコンピュータに実行させるためのプログラム、並びに、当該プログラムを記憶するコンピュータ読み取り可能な記憶媒体を含む。
【発明の効果】
【００２５】
本発明によれば、魚眼レンズで撮影したような中心射影でない画像であっても、光学的射影方式に応じて歪曲補正を簡便かつ適切に補正することができる仕組みを提供することができる。
【図面の簡単な説明】
【００２６】
【図１】本発明の実施形態に係る画像処理装置の概略ハードウェア構成の一例を示すブロック図である。
【図２】本発明の第１の実施形態に係る画像処理装置の変換補正装置の概略システム構成の一例を示すブロック図である。
【図３】本発明の第１の実施形態を示し、画像処理アプリケーションプログラムの起動にしたがって表示装置に表示される歪曲補正操作画面の一例を示す模式図である。
【図４】本発明の第１の実施形態に係る画像処理装置において、画像とともにオーバーレイ表示する調整用の補助線として同心円の一例を示す模式図である。
【図５】本発明の第１の実施形態に係る画像処理装置による画像補正処理の一例を示すフローチャートである。
【図６】本発明の第２の実施形態に係る画像処理装置の変換補正装置の概略システム構成の一例を示すブロック図である。
【図７】本発明の第２の実施形態に係る画像処理装置による画像補正処理の一例を示すフローチャートである。
【図８】射影方式の原理、特に、正射影方式の原理を説明するイメージ図である。
【図９】魚眼レンズによる撮影画像を中心射影に変換した場合の画像のイメージ図である。
【発明を実施するための形態】
【００２７】
以下に、図面を参照しながら、本発明を実施するための形態（実施形態）について説明する。
【００２８】
＜画像処理装置の構造＞
図１は、本発明の実施形態に係る画像処理装置の概略ハードウェア構成の一例を示すブロック図である。ここで、図１に示される画像処理装置の構成は、後述する第１の実施形態および第２の実施形態に共通する構成である。この画像処理装置は、表示装置に表示された操作画面にしたがって補正対象の画像を補正するものである。
【００２９】
図１に示すように、画像処理装置は、ＣＰＵ１００、表示用メモリ１０１、メモリ１０２、外部記憶装置１０３、入力装置１０４、表示装置１０５及び変換補正装置１０６のハードウェアを有して構成されている。
【００３０】
この画像処理装置では、ＣＰＵ１００が、外部記憶装置１０３に記憶されたオペレーティングシステム（ＯＳ）や画像処理アプリケーションプログラムをメモリ１０２に展開する。そして、それを実行することで、装置全体の動作が制御され、装置で実行される各種の処理が実現される。
【００３１】
メモリ１０２としては、例えば、ＲＡＭ等が用いられる。外部記憶装置１０３としては、例えば、ハードディスク等が用いられる。なお、ＯＳや画像処理アプリケーションプログラムは、外部記憶装置１０３に代えて、ＲＯＭ等の不揮発性メモリに記憶されていてもよい。また、外部記憶装置１０３には、画像データが格納されている。ここでは、外部記憶装置１０３に格納されている画像は、デジタルカメラを用いて撮影された撮影画像であるものとする。
【００３２】
ＣＰＵ１００は、外部記憶装置１０３から補正対象となる画像のデータを読み出して表示用メモリ１０１に展開し、画像を表示装置１０５に表示する。表示装置１０５としては、例えば、液晶ディスプレイやＣＲＴ等が用いられる。
【００３３】
画像処理装置の操作者による操作は、キーボード、マウスあるいはタッチパネル等の入力装置１０４を介して、行われる。外部記憶装置１０３から読み出された撮影画像に対して補正を行うことにより生成される新しい画像の画像データは、外部記憶装置１０３に対して格納される。
本発明に係る画像処理装置は、外部記憶装置１０３に格納され、適宜実行されるソフトウェアに依存して、下記の第１の実施形態及び第２の実施形態にかかる各画像処理装置が実現される。
【００３４】
（第１の実施形態）
図２は、本発明の第１の実施形態に係る画像処理装置の変換補正装置１０６の概略システム構成の一例を示すブロック図である。
図２に示すように、変換補正装置１０６は、画像入力部２００、射影方式変換部２０１、画像表示部２０２、歪曲補正実行部２０３のシステム構成を有している。更に、図２に示すように、変換補正装置１０６は、画像処理制御部２０４、調整補助線作成部２０５、調整補助線表示部２０６、付帯情報取得部２０７のシステム構成を有している。
【００３５】
図２に示された各種の処理部による処理は、ＣＰＵ１００が外部記憶装置１０３に記憶された所定の画像処理アプリケーションプログラム等をメモリ１０２に展開し実行する。そして、変換補正装置１０６が備える各部２００〜２０７がＣＰＵ１００からの指令に基づいて所定の動作を行うことにより実現される。
【００３６】
画像入力部２００は、外部記憶装置１０３から画像データをメモリ１０２に読み込み、表示装置に補正対象の画像を入力する処理を行う。
射影方式変換部２０１は、操作者の操作に基づいて、補正対象の画像に固有の光学特性としての第１の射影方式による画像を第２の射影方式に変換する処理を行う。
画像表示部２０２は、画像を表示用メモリ１０１に展開し、表示装置１０５に表示する処理を行う。
歪曲補正実行部２０３は、表示装置１０５に表示された補正画面にしたがって操作者が実行する操作に対応する画像処理を施す。即ち、歪曲補正実行部２０３は、操作者の操作に基づいて、例えば第２の射影方式による画像の歪曲補正を行う。
【００３７】
画像処理制御部２０４は、射影方式変換部２０１、調整補助線表示部２０６による一連の補正処理を実行するための操作画面の表示装置１０５への表示を制御する。
調整補助線作成部２０５は、付帯情報取得部２０７で取得した付帯情報からのデータから使用したレンズに対応する画角と射影方式（例えば、第２の射影方式）に応じた同心円状の調整用の補助線を作成する。より具体的に、調整補助線作成部２０５は、付帯情報取得部２０７で取得した付帯情報に含まれるレンズ種別から対応する射影方式を認識して、その射影方式の原理から導出される補助線を作成する。
調整補助線表示部２０６は、画像表示部２０２と共に、調整補助線作成部２０５が作成した調整用の補助線を、表示装置１０５に例えば第２の射影方式によって変換された画像とともにオーバーレイ表示する。この調整補助線表示部２０６及び画像表示部２０２は、本発明の「表示手段」を構成する。ここで、表示手段は、射影方式変換部２０１により変換された画像を、例えば調整用補助線と同時に表示することができる。
付帯情報取得部２０７は、メモリ１０２に展開された画像データを解析してレンズ情報（レンズ種別を含む）、画角、ズーム位置などの付帯情報を取得する処理を行う。
【００３８】
次に、第１の実施形態にかかる画像処理装置を用いた画像処理の具体的なプロセスについて説明する。操作者（編集者）が入力装置１０４を通して画像処理アプリケーションを選択すると、ＣＰＵ１００は、対応する画像処理アプリケーションプログラムを外部記憶装置１０３から読み出して実行する。これにより画像処理アプリケーション、この場合、歪曲補正処理のユーザーインターフェース画面が表示装置１０５に表示される。
この画像処理アプリケーションは、入力された画像の射影方式に応じた歪曲補正を行い、光学的に正しい画像を得るものである。
【００３９】
図３は、本発明の第１の実施形態を示し、画像処理アプリケーションプログラムの起動にしたがって画像処理制御部２０４により表示装置１０５を介して表示される歪曲補正操作画面３００の一例を示す模式図である。なお、本実施形態では、操作者が画像処理アプリケーションの機能を選択する前に、画像処理される画像の選択がすでに行われているものとする。
【００４０】
図３の歪曲補正操作画面３００には、補正対象の画像の表示領域３１０、補正前の元画像のもつ射影方式が何かという情報の表示欄３２０、変換しようとする射影方式の選択欄３３０が用意されている。更に、図３の歪曲補正操作画面３００には、調整用補助線の表示選択欄３４０、そして歪曲補正の調整用操作部材３５０、ＯＫボタン３６０、キャンセルボタン３７０が用意されている。
【００４１】
補正対象の元画像のもつ射影方式は、付帯情報取得部２０７によって画像の付帯情報から解析されたレンズ情報から一意に決定される。更に、調整用補助線の表示選択欄３４０に基づき調整用補助線の表示をするという操作者の選択がある場合は、対象画像とオーバーラップされてその射影方式とそのレンズの画角に応じた同心円状の補助線３８０が表示される。
【００４２】
操作者が、歪曲補正の調整用操作部材３５０を入力装置１０４に含まれるマウスで水平方向にドラッグ操作すると、表示領域３１０に表示されている画像は、そのドラッグ操作に応じて歪曲補正されて再表示される。もちろん、調整用操作部材３５０の操作はマウス以外の装置を用いて行うようにしても構わない。
【００４３】
調整用の補助線３８０として表示される同心円は、入射角ごとの像高を平面に写像したものである。画角が１８０°の魚眼レンズの場合は、対角９０°まで被写体が撮像されているので、１０°刻みで画像の対角線上に８本描かれる。これを図４に示す。
【００４４】
図４は、本発明の第１の実施形態に係る画像処理装置において、画像とともにオーバーレイ表示する調整用の補助線として同心円の一例を示す模式図である。
この調整用の補助線の表示間隔は、１０°刻みでなくて、もっと大きくてもよいし、細かくてもよい。図４に示される同心円の画角１０°毎の間隔は、前述した図８の射影方式の原理説明図からも明らかなように、射影方式が決まると一意に決定される。
【００４５】
こうして、周辺部の歪みが同心円状の補助線に沿って調整されるよう調整用操作部材３５０（具体的には、調整用操作部材３５０を動かすことで、その射影方式での「光学的な」歪みのない画像に調整することができる。
【００４６】
次に、上述したユーザーインターフェース画面に基づく画像処理を実現する画像処理アプリケーションプログラムの実行による処理のフローチャートについて説明する。
【００４７】
図５は、本発明の第１の実施形態に係る画像処理装置による画像補正処理の一例を示すフローチャートである。図５のフローチャートに示されるステップＳ５００〜Ｓ５８０の処理は、画像処理制御部２０４により表示装置１０５を介して表示されたユーザーインターフェース画面上において、操作手順を含めた一連の処理に対応する。
【００４８】
画像入力部２００は、ＣＰＵ１００の制御に基づいて、最初に補正をしたい補正対象の画像データを指定して画像データを読み込む（ステップＳ５００）。
【００４９】
続いて、付帯情報取得部２０７は、ＣＰＵ１００の制御に基づいて、ステップＳ５００で読み込んだ画像データに付属する撮影情報やレンズ情報といった付帯情報を解析して、特にレンズ種や画角などのデータを取得する（ステップＳ５１０）。この解析された付帯情報から、元の画像のもつ射影方式がどれであるかが決定される。
【００５０】
続いて、射影方式変換部２０１は、ＣＰＵ１００の制御に基づいて、操作者が入力装置１０４を用いてその画像の射影方式を変換指示した場合に、これを変更して、歪曲補正をしたい画像の射影方式を決定する（ステップＳ５２０）。
【００５１】
続いて、操作者が調整用の補助線を表示するかどうかの指定を行い、調整補助線作成部２０５は、調整用の補助線を表示するかどうかの指定の有無を判定する（ステップＳ５３０）。これにより、調整用の補助線としての同心円を表示するかどうかが決定される。
【００５２】
ステップＳ５３０の判定の結果、調整用の補助線を表示する指定がある場合（ステップＳ５３０／Ｙｅｓ）は、ステップＳ５４０に進む。ステップＳ５４０に進むと、調整補助線作成部２０５は、ＣＰＵ１００の制御に基づいて、ステップＳ５２０で決定されている射影方式に応じた、調整用補助線のデータを作成する。
【００５３】
続いて、調整補助線表示部２０６は、画像処理制御部２０４の制御に基づいて、調整補助線作成部２０５が作成した、射影方式に応じた同心円の描画を行い、表示する（ステップＳ５５０）。
【００５４】
ステップＳ５５０が終了した場合あるいはステップＳ５３０で調整用の補助線を表示する指定が無い場合（ステップＳ５３０／Ｎｏ）には、ステップＳ５６０に進む。
ステップＳ５６０に進むと、射影方式変換部２０１は、指定された射影方式にしたがって、元の画像データの幾何学的な射影変換処理を行い、画像表示部２０２及び画像処理制御部２０４は、その変換画像を表示装置１０５に表示する。
【００５５】
ここから操作者は、この表示装置１０５に表示された画像に対して、調整用補助線として表示された同心円を目安に、歪曲補正操作画面３００に表示された調整用操作部材３５０を移動させることによって歪曲補正の微調整を行うことになる。
【００５６】
続いて、ＣＰＵ１００（あるいは歪曲補正実行部２０３）は、歪曲補正が操作者の操作により完了したかどうかを判定する（ステップＳ５７０）。ＣＰＵ１００は、操作者が歪曲補正操作画面３００に用意されたＯＫボタン３６０あるいはキャンセルボタン３７０を押下した場合に、歪曲補正が完了したと判定する。
【００５７】
ステップＳ５７０の判定の結果、歪曲補正が完了していない場合（ステップＳ５７０／Ｎｏ）には、ステップＳ５８０に進む。
ステップＳ５８０に進むと、歪曲補正実行部２０３は、操作者が補正実行用の操作部材を操作すると、歪曲補正を実行する。ステップＳ５６０〜Ｓ５８０のループは、調整が完了するまで（ステップＳ５７０／Ｙｅｓ）、歪曲補正の実行（ステップＳ５８０）と表示（ステップＳ５６０）を繰り返す。
【００５８】
そして、操作者が満足のいく補正結果が得られたら、ステップＳ５７０の判定の結果、歪曲補正が完了した場合となり、本処理は終了する。
【００５９】
なお、操作者が歪曲補正操作画面３００に用意されたＯＫボタン３６０を押下することで、この処理の結果が保存されることになる。一方、操作者がキャンセルボタン３７０を押下した場合は、一連の操作処理は破棄される。
【００６０】
以上の説明の通り、第１の実施形態によれば、操作者は、魚眼レンズのような超広視野光学系レンズによる超広角画像をその射影方式に応じた画角を示す複数の同心円を目安に歪曲補正を簡便かつ適切に補正することができる。また、補正のやり直しも容易である。
【００６１】
（第２の実施形態）
上記第１の実施形態では、射影方式と画角の２つの情報から調整用補助線としての同心円を表示することで効率的に光学的にもより適切な歪曲補正を行うことができた。一方、第２の実施形態では、これに加えて、操作者の操作により調整用補助線として表示される同心円を画像の中心から対角方向に、その大きさを可変できるようにすることで、より、緻密かつ正確に歪曲補正の処理を行うことを可能とする。
【００６２】
以下、図６及び図７を参照して、本発明の第２の実施形態に係る画像処理装置について説明する。
【００６３】
図６は、本発明の第２の実施形態に係る画像処理装置の変換補正装置１０６の概略システム構成の一例を示すブロック図である。
【００６４】
図６に示された各種の処理部による処理は、ＣＰＵ１００が外部記憶装置１０３に記憶された各種の画像処理アプリケーションプログラム等をメモリ１０２に展開し実行する。そして、変換補正装置１０６が備える各部２００〜２０７、６１０がＣＰＵ１００からの指令に基づいて所定の動作を行うことにより実現される。
【００６５】
第２の実施形態に係る変換補正装置１０６は、画像入力部２００、射影方式変換部２０１、画像表示部２０２、歪曲補正実行部２０３、画像処理制御部２０４、調整補助線作成部２０５、調整補助線表示部２０６、付帯情報取得部２０７を備える。これらは、第１の実施形態に係る変換補正装置１０６が備えるもの（図２）と同じであるので、ここでの説明は省略する。
【００６６】
第２の実施形態に係る変換補正装置１０６は、これらに加えて、調整補助線表示の変更部６１０を備える。
調整補助線表示の変更部６１０は、事前に操作者が決めた同心円の表示間隔、つまり入射角の増分を好みに応じて設定できる。具体的には、調整補助線表示の変更部６１０は、マウス操作などの操作者の操作の入力に応じて、動的に表示されている調整補助線の表示間隔および大きさの少なくともいずれかを変更する。また、調整補助線表示の変更部６１０は、表示手段により表示している調整補助線に関して、その大きさ、表示間隔を含む設定を事前に登録することができる。
【００６７】
図７は、本発明の第２の実施形態に係る画像処理装置による画像補正処理の一例を示すフローチャートである。図７のフローチャートに示されているステップＳ７００〜Ｓ７９０の処理は、ユーザーインターフェース画面上において、操作手順を含めた一連の処理に対応する。
【００６８】
画像入力部２００は、ＣＰＵ１００の制御に基づいて、最初に補正をしたい画像を指定して画像を読み込む（ステップＳ７００）。
【００６９】
続いて、付帯情報取得部２０７は、ＣＰＵ１００の制御に基づいて、ステップＳ７００で読み込んだ画像データに付属する撮影情報やレンズ情報といった付帯情報を解析して、特にレンズ種や画角などのデータを取得する（ステップＳ７１０）。この解析された付帯情報から、元の画像のもつ射影方式がどれであるかが決定される。
【００７０】
続いて、射影方式変換部２０１は、ＣＰＵ１００の制御に基づいて、操作者が入力装置１０４を用いてその画像の射影方式を変換指示した場合に、これを変更して、歪曲補正をしたい画像の射影方式を決定する（ステップＳ７２０）。
【００７１】
続いて、操作者が調整用の補助線を表示するかどうかの指定を行い、調整補助線作成部２０５は、調整用の補助線を表示するかどうかの指定の有無を判定する（ステップＳ７３０）。これにより、調整用の補助線としての同心円を表示するかどうかが決定される。
【００７２】
ステップＳ７３０の判定の結果、調整用の補助線を表示する指定がある場合（ステップＳ７３０／Ｙｅｓ）は、ステップＳ７４０に進む。ステップＳ７４０に進むと、調整補助線作成部２０５は、ＣＰＵ１００の制御に基づいて、ステップＳ７２０で決定されている射影方式に応じた、調整用補助線のデータを作成する。
【００７３】
続いて、調整補助線表示部２０６は、画像処理制御部２０４の制御に基づいて、調整補助線作成部２０５が作成した、射影方式に応じた同心円の描画を行い、表示する（ステップＳ７５０）。
【００７４】
ここで、第２の実施形態の大きな特徴として、表示された調整補助線としての同心円をマウスのドラッグにより、その大きさを微調整することができる。
【００７５】
そこで、調整補助線表示の変更部６１０は、操作者がマウスで補助線をドラッグしているかどうか判定する（ステップＳ７６０）。
【００７６】
ステップＳ７６０の判定の結果、ドラッグしている場合（ステップＳ７６０／Ｎｏ）には、ステップＳ７４０に戻り、ドラッグしたマウスの移動量から同心円の半径を計算して新しい調整補助線としての同心円を作成・表示する（ステップＳ７４０及びＳ７５０）。
【００７７】
一方、ステップＳ７６０の判定の結果、ドラッグしていない場合（ステップＳ７６０／Ｙｅｓ）あるいはステップＳ７３０で調整用の補助線を表示する指定が無い場合（ステップＳ７３０／Ｎｏ）には、以下の変換画像の表示（ステップＳ７７０）に進む。
ステップＳ７７０に進むと、射影方式変換部２０１は、指定された射影方式にしたがって、元の画像データの幾何学的な射影変換処理を行い、画像表示部２０２及び画像処理制御部２０４は、その変換画像を表示装置１０５に表示する。
【００７８】
ここからこの表示装置１０５に表示された画像に対して、調整用補助線として表示された同心円を目安に、歪曲補正を行うことになる。
【００７９】
続いて、ＣＰＵ１００（あるいは歪曲補正実行部２０３）は、歪曲補正が操作者の操作により完了したかどうかを判定する（ステップＳ７８０）。
【００８０】
ステップＳ７８０の判定の結果、歪曲補正が完了していない場合（ステップＳ７８０／Ｎｏ）には、ステップＳ７９０に進む。
ステップＳ７９０に進むと、歪曲補正実行部２０３は、操作者が補正実行用の操作部材を操作すると、歪曲補正を実行する。
【００８１】
操作者は補正実行用の操作部材を操作して歪曲補正を実行（ステップＳ７９０）し、調整が完了するまで、補正の実行と表示を繰り返す。その際、補正結果によっては、再度調整補助線の大きさや位置を変更した方が補正の調整がしやすい場合もある。そこで、ステップＳ７９０の補正実行の後は、操作者による同心円の再調整が可能であるようにステップＳ７６０に戻る。
こうして、調整が完了するまで、調整補助線の再計算（ステップＳ７４０、Ｓ７５０）および画像表示（ステップＳ７７０）、歪曲補正の実行（ステップＳ７９０）を繰り返す。
【００８２】
以上の通り、第２の実施形態によれば、歪曲補正を効率よく行うために、表示されている同心円の表示位置（半径）を操作者がマウス等の入力操作で変更することができる。そして、所望の画角同心円を画像に撮像されている対象とする被写体の位置に合わせて、調整することが可能である。
【産業上の利用可能性】
【００８３】
なお、前述した本発明の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。また、上述の実施形態の一部を適宜組み合わせてもよい。
【００８４】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【００８５】
このプログラム及び当該プログラムを記憶したコンピュータ読み取り可能な記録媒体は、本発明に含まれる。
【符号の説明】
【００８６】
２００ 画像入力部、２０１ 射影方式変換部、２０２ 画像表示部、２０３ 歪曲補正実行部、２０４ 画像処理制御部、２０５ 調整補助線作成部、２０６ 調整補助線表示部、２０７ 付帯情報取得部
【技術分野】
【０００１】
本発明は、画像処理装置及びその処理方法に関し、特に、超広視野を実現する魚眼レンズの単焦点あるいはズーム光学系を用いて撮像された画像の画像処理手法に関する。
【背景技術】
【０００２】
魚眼光学系や全方位光学系等に代表される超広視野光学系は、監視・遠隔操作、ＴＶ会議、医療用内視鏡、科学的測量等の様々な分野で利用されている。その特徴は、画角１８０度前後の超広視野像を特殊な射影方式により撮像面の有限領域に投影可能な点である。これにより、一般的な中心射影（透視投影）方式で撮像する撮像装置では理論的に撮像できないような超広視野像を撮像できる。
【０００３】
しかしながら、超広視野像を撮像するための魚眼光学系等の特殊な射影方式の光学系は、撮像される像の被写体形状を歪ませるため、人間が観察する観点では本来の被写体形状との相違が著しい。それでも、その特殊な射影方式には、それぞれの目的、利用意図があり、とくに測量等に使用する目的の場合は、その歪みにみえる部分が光学的に正しい画像であることが望まれる。
【０００４】
ここで、魚眼レンズを含む、いわゆる超広視野光学系レンズにおける光学的な射影方式について言及しておく。
【０００５】
魚眼レンズとは本来、１８０度前後の視野を感光面に射影できる屈折レンズを指すが、ここでは反射鏡やプリズムを用いて広視野を得る光学系も含めて魚眼レンズと呼ぶ。厳密には、魚眼レンズは広い画角によってではなく、その射影方式によって定義される。簡単にその射影の種類について述べる。
【０００６】
以下、射影方式の原理に関して図８を参照して説明する。
図８は、射影方式の原理、特に、正射影方式の原理を説明するイメージ図である。
【０００７】
図８において、半球面Ｇは、魚眼レンズによって結像面上に結像される画像の範囲を直径とした仮想球面である。ここで、すべての射影方式において、画像の中心Ｏが球面Ｇの天頂に相当する。そして画像内の一点Ｐ（これを像点と呼ぶ）に着目する。
【０００８】
それぞれの射影方式による画像における中心Ｏからその像点Ｐまでの距離（これを像高と呼ぶ）は入射光の天頂角（入射角と呼ぶ）と特定の関係がある。ここで、像高をｒｐ、入射角をθとしてその関係を数式で表す。
【０００９】
（ａ）等距離射影方式（Equidistant Projection）
像高ｒｐは、入射角θに比例する。一般的な魚眼レンズに多い。
ｒｐ ∝ θ ・・・（式１）
【００１０】
（ｂ）平射影方式（Stereographic Projection）
像高ｒｐは、入射角θの半角の正接に比例する。
ｒｐ ∝ ｔａｎ（θ／２） ・・・（式２）
【００１１】
（ｃ）等立体角射影方式（Equisolidangle Projection）
像高ｒｐは、入射角θの半角の正弦に比例する。
ｒｐ ∝ ｓｉｎ（θ／２） ・・・（式３）
被写体のとる立体角と像の面積が比例するという特徴があり、画面上の面積を測定することで、被写体の面積比が正しく出せる。この特徴を利用して、全天の雲量測定や森林の植生分布などの測量に利用される。
【００１２】
（ｄ）正射影方式（Orthographic Projection）
像高ｒｐは、入射角θの正弦に比例する。
ｒｐ ∝ ｓｉｎ θ ・・・（式４）
これは、天球をそのままフィルム面、像側に射影したものに等しい。画面に占める面光源の面積が撮影した場所での照度に比例という特徴があり、これより照度測定や建築照明など学術研究用途に利用されることが多い。
例示した図８は上記（ｄ）の正射影方式に相当する射影原理イメージになる。
【００１３】
従来の歪曲補正と呼ばれる画像補正処理は、歪みのない中心射影画像に変換するものである。通常の光学レンズは、中心射影方式で撮像されるよう光学設計されているが、それでも、像高の大きな領域では、レンズの特性、製造誤差など、さまざまな要因で歪みが残っている場合がある。歪曲補正は、この歪みがないように補正するものである。
【００１４】
また、歪曲補正処理において魚眼レンズで撮影した画像に対応しようとする考案も多数開示されている。即ち、魚眼レンズで撮影された歪みを有する画像から、歪みのない画像を生成しようとするものである。
【００１５】
例えば、下記の特許文献１では、等距離射影方式の魚眼レンズで撮影された画像データを中心射影方式の画像に変換する画像変換装置が開示されている。
更には、特許文献２においては、同じく魚眼レンズの撮像画像データを中心射影方式に変換する画像変換装置が開示されている。
【００１６】
魚眼レンズでは、前述したように、それぞれの射影方式により画像の写り方が異なり、特に像高の高い部分と中心領域では撮像されている物体の形状が本来のものとは大きく異なる。
【００１７】
図９は、魚眼レンズによる撮影画像を中心射影に変換した場合の画像のイメージ図である。具体的に、図９（ａ）は、魚眼レンズによる撮影画像のイメージ図である。そして、この画像イメージ図を、歪みのない中心射影に変換することを目的とした従来の歪曲補正したものが図９（ｂ）に示したものである。この図９からもわかるように、像高の大きな部分で、同心円の間隔が広がり、画像が元の画像よりも横方向に非常に大きくなる。
【００１８】
このような画像の歪曲補正の微調整を支援するための画像処理装置上のユーザーインターフェースも案出されている。例えば、撮影時のレンズに対する歪曲収差補正について、撮影距離などのパラメータを調整しながら調整用補助線としての水平垂直線を画像にオーバーレイ（重ねて）表示することで、この調整用補助線である直線を目安に、補正具合を調整する機能が案出されている。
【先行技術文献】
【特許文献】
【００１９】
【特許文献１】特開２００７−１５６７９５号公報
【特許文献２】特開２００８−３０１０５２号公報
【発明の概要】
【発明が解決しようとする課題】
【００２０】
今までは、歪みのない中心射影の画像を得ることを目的としていたので、前述したように撮影された被写体あるいは調整用補助線の水平垂直線を目安として歪曲収差補正を行っていた。
【００２１】
ここで、中心射影方式ではなく、上述した等距離射影方式や平射影方式といった特殊な射影方式における正確な画像を得たいという要望もある。つまり、魚眼レンズに含まれる光学特性による誤差や、射影方式の変換処理による演算誤差などを除去した、それぞれの射影方式で求められる理想的な歪みを高い精度で満たした画像が望まれることがある。しかしながら、このような特殊な射影方式の画像については、もともと水平垂直線が歪んでいる状態が正常であるため、この誤差の補正を高精度に行う際に、画像中の被写体や調整確認用に表示されている補助線の水平垂直線を目安として用いることができない。
【００２２】
更には、前述したように各射影方式による魚眼画像には、それぞれ学術的な利用目的がある場合があり、歪みを完全に無くした通常の画像ではなく、任意の射影方式で魚眼レンズとして光学的、幾何学的に正しい撮影画像が補正後の画像として必要である。それゆえに、特殊な射影方式の理想的な画像を得るための光学特性の補正としての歪曲補正の重要性が高い。ここでいう歪曲補正とは、所定の射影方式で求められる理想的な歪みとの誤差によって生じる歪みを解消するための補正処理を指している。即ち、この歪曲補正は、中心射影方式だけではなく、等距離射影方式や平射影方式といった理想的な歪みが定義されている特殊な射影方式の画像を得るための補正処理を含むものとする。
【００２３】
本発明は、このような問題点に鑑みてなされたものであり、魚眼レンズのようないわゆる超広視野光学系レンズで撮影された画像においても、光学的射影方式に応じて歪曲補正を簡便かつ適切に補正することができる仕組みを提供することを目的とする。
【課題を解決するための手段】
【００２４】
本発明の画像処理装置は、表示装置に表示された操作画面にしたがって補正対象の画像を補正する画像処理装置であって、前記表示装置に前記補正対象の画像を入力する画像入力手段と、操作者の操作に基づいて、前記補正対象の画像に固有の光学特性としての第１の射影方式による画像を第２の射影方式に変換する射影方式変換手段と、前記第２の射影方式に応じた調整用補助線を作成する調整補助線作成手段と、前記調整補助線作成手段によって作成された調整用補助線を前記表示装置に前記第２の射影方式によって変換された画像とともにオーバーレイ表示する表示手段と、操作者の操作に基づいて、前記第２の射影方式による画像の歪曲補正を行う歪曲補正実行手段とを有する。
また、本発明は、上述した画像処理装置による画像処理方法、及び、当該画像処理方法をコンピュータに実行させるためのプログラム、並びに、当該プログラムを記憶するコンピュータ読み取り可能な記憶媒体を含む。
【発明の効果】
【００２５】
本発明によれば、魚眼レンズで撮影したような中心射影でない画像であっても、光学的射影方式に応じて歪曲補正を簡便かつ適切に補正することができる仕組みを提供することができる。
【図面の簡単な説明】
【００２６】
【図１】本発明の実施形態に係る画像処理装置の概略ハードウェア構成の一例を示すブロック図である。
【図２】本発明の第１の実施形態に係る画像処理装置の変換補正装置の概略システム構成の一例を示すブロック図である。
【図３】本発明の第１の実施形態を示し、画像処理アプリケーションプログラムの起動にしたがって表示装置に表示される歪曲補正操作画面の一例を示す模式図である。
【図４】本発明の第１の実施形態に係る画像処理装置において、画像とともにオーバーレイ表示する調整用の補助線として同心円の一例を示す模式図である。
【図５】本発明の第１の実施形態に係る画像処理装置による画像補正処理の一例を示すフローチャートである。
【図６】本発明の第２の実施形態に係る画像処理装置の変換補正装置の概略システム構成の一例を示すブロック図である。
【図７】本発明の第２の実施形態に係る画像処理装置による画像補正処理の一例を示すフローチャートである。
【図８】射影方式の原理、特に、正射影方式の原理を説明するイメージ図である。
【図９】魚眼レンズによる撮影画像を中心射影に変換した場合の画像のイメージ図である。
【発明を実施するための形態】
【００２７】
以下に、図面を参照しながら、本発明を実施するための形態（実施形態）について説明する。
【００２８】
＜画像処理装置の構造＞
図１は、本発明の実施形態に係る画像処理装置の概略ハードウェア構成の一例を示すブロック図である。ここで、図１に示される画像処理装置の構成は、後述する第１の実施形態および第２の実施形態に共通する構成である。この画像処理装置は、表示装置に表示された操作画面にしたがって補正対象の画像を補正するものである。
【００２９】
図１に示すように、画像処理装置は、ＣＰＵ１００、表示用メモリ１０１、メモリ１０２、外部記憶装置１０３、入力装置１０４、表示装置１０５及び変換補正装置１０６のハードウェアを有して構成されている。
【００３０】
この画像処理装置では、ＣＰＵ１００が、外部記憶装置１０３に記憶されたオペレーティングシステム（ＯＳ）や画像処理アプリケーションプログラムをメモリ１０２に展開する。そして、それを実行することで、装置全体の動作が制御され、装置で実行される各種の処理が実現される。
【００３１】
メモリ１０２としては、例えば、ＲＡＭ等が用いられる。外部記憶装置１０３としては、例えば、ハードディスク等が用いられる。なお、ＯＳや画像処理アプリケーションプログラムは、外部記憶装置１０３に代えて、ＲＯＭ等の不揮発性メモリに記憶されていてもよい。また、外部記憶装置１０３には、画像データが格納されている。ここでは、外部記憶装置１０３に格納されている画像は、デジタルカメラを用いて撮影された撮影画像であるものとする。
【００３２】
ＣＰＵ１００は、外部記憶装置１０３から補正対象となる画像のデータを読み出して表示用メモリ１０１に展開し、画像を表示装置１０５に表示する。表示装置１０５としては、例えば、液晶ディスプレイやＣＲＴ等が用いられる。
【００３３】
画像処理装置の操作者による操作は、キーボード、マウスあるいはタッチパネル等の入力装置１０４を介して、行われる。外部記憶装置１０３から読み出された撮影画像に対して補正を行うことにより生成される新しい画像の画像データは、外部記憶装置１０３に対して格納される。
本発明に係る画像処理装置は、外部記憶装置１０３に格納され、適宜実行されるソフトウェアに依存して、下記の第１の実施形態及び第２の実施形態にかかる各画像処理装置が実現される。
【００３４】
（第１の実施形態）
図２は、本発明の第１の実施形態に係る画像処理装置の変換補正装置１０６の概略システム構成の一例を示すブロック図である。
図２に示すように、変換補正装置１０６は、画像入力部２００、射影方式変換部２０１、画像表示部２０２、歪曲補正実行部２０３のシステム構成を有している。更に、図２に示すように、変換補正装置１０６は、画像処理制御部２０４、調整補助線作成部２０５、調整補助線表示部２０６、付帯情報取得部２０７のシステム構成を有している。
【００３５】
図２に示された各種の処理部による処理は、ＣＰＵ１００が外部記憶装置１０３に記憶された所定の画像処理アプリケーションプログラム等をメモリ１０２に展開し実行する。そして、変換補正装置１０６が備える各部２００〜２０７がＣＰＵ１００からの指令に基づいて所定の動作を行うことにより実現される。
【００３６】
画像入力部２００は、外部記憶装置１０３から画像データをメモリ１０２に読み込み、表示装置に補正対象の画像を入力する処理を行う。
射影方式変換部２０１は、操作者の操作に基づいて、補正対象の画像に固有の光学特性としての第１の射影方式による画像を第２の射影方式に変換する処理を行う。
画像表示部２０２は、画像を表示用メモリ１０１に展開し、表示装置１０５に表示する処理を行う。
歪曲補正実行部２０３は、表示装置１０５に表示された補正画面にしたがって操作者が実行する操作に対応する画像処理を施す。即ち、歪曲補正実行部２０３は、操作者の操作に基づいて、例えば第２の射影方式による画像の歪曲補正を行う。
【００３７】
画像処理制御部２０４は、射影方式変換部２０１、調整補助線表示部２０６による一連の補正処理を実行するための操作画面の表示装置１０５への表示を制御する。
調整補助線作成部２０５は、付帯情報取得部２０７で取得した付帯情報からのデータから使用したレンズに対応する画角と射影方式（例えば、第２の射影方式）に応じた同心円状の調整用の補助線を作成する。より具体的に、調整補助線作成部２０５は、付帯情報取得部２０７で取得した付帯情報に含まれるレンズ種別から対応する射影方式を認識して、その射影方式の原理から導出される補助線を作成する。
調整補助線表示部２０６は、画像表示部２０２と共に、調整補助線作成部２０５が作成した調整用の補助線を、表示装置１０５に例えば第２の射影方式によって変換された画像とともにオーバーレイ表示する。この調整補助線表示部２０６及び画像表示部２０２は、本発明の「表示手段」を構成する。ここで、表示手段は、射影方式変換部２０１により変換された画像を、例えば調整用補助線と同時に表示することができる。
付帯情報取得部２０７は、メモリ１０２に展開された画像データを解析してレンズ情報（レンズ種別を含む）、画角、ズーム位置などの付帯情報を取得する処理を行う。
【００３８】
次に、第１の実施形態にかかる画像処理装置を用いた画像処理の具体的なプロセスについて説明する。操作者（編集者）が入力装置１０４を通して画像処理アプリケーションを選択すると、ＣＰＵ１００は、対応する画像処理アプリケーションプログラムを外部記憶装置１０３から読み出して実行する。これにより画像処理アプリケーション、この場合、歪曲補正処理のユーザーインターフェース画面が表示装置１０５に表示される。
この画像処理アプリケーションは、入力された画像の射影方式に応じた歪曲補正を行い、光学的に正しい画像を得るものである。
【００３９】
図３は、本発明の第１の実施形態を示し、画像処理アプリケーションプログラムの起動にしたがって画像処理制御部２０４により表示装置１０５を介して表示される歪曲補正操作画面３００の一例を示す模式図である。なお、本実施形態では、操作者が画像処理アプリケーションの機能を選択する前に、画像処理される画像の選択がすでに行われているものとする。
【００４０】
図３の歪曲補正操作画面３００には、補正対象の画像の表示領域３１０、補正前の元画像のもつ射影方式が何かという情報の表示欄３２０、変換しようとする射影方式の選択欄３３０が用意されている。更に、図３の歪曲補正操作画面３００には、調整用補助線の表示選択欄３４０、そして歪曲補正の調整用操作部材３５０、ＯＫボタン３６０、キャンセルボタン３７０が用意されている。
【００４１】
補正対象の元画像のもつ射影方式は、付帯情報取得部２０７によって画像の付帯情報から解析されたレンズ情報から一意に決定される。更に、調整用補助線の表示選択欄３４０に基づき調整用補助線の表示をするという操作者の選択がある場合は、対象画像とオーバーラップされてその射影方式とそのレンズの画角に応じた同心円状の補助線３８０が表示される。
【００４２】
操作者が、歪曲補正の調整用操作部材３５０を入力装置１０４に含まれるマウスで水平方向にドラッグ操作すると、表示領域３１０に表示されている画像は、そのドラッグ操作に応じて歪曲補正されて再表示される。もちろん、調整用操作部材３５０の操作はマウス以外の装置を用いて行うようにしても構わない。
【００４３】
調整用の補助線３８０として表示される同心円は、入射角ごとの像高を平面に写像したものである。画角が１８０°の魚眼レンズの場合は、対角９０°まで被写体が撮像されているので、１０°刻みで画像の対角線上に８本描かれる。これを図４に示す。
【００４４】
図４は、本発明の第１の実施形態に係る画像処理装置において、画像とともにオーバーレイ表示する調整用の補助線として同心円の一例を示す模式図である。
この調整用の補助線の表示間隔は、１０°刻みでなくて、もっと大きくてもよいし、細かくてもよい。図４に示される同心円の画角１０°毎の間隔は、前述した図８の射影方式の原理説明図からも明らかなように、射影方式が決まると一意に決定される。
【００４５】
こうして、周辺部の歪みが同心円状の補助線に沿って調整されるよう調整用操作部材３５０（具体的には、調整用操作部材３５０を動かすことで、その射影方式での「光学的な」歪みのない画像に調整することができる。
【００４６】
次に、上述したユーザーインターフェース画面に基づく画像処理を実現する画像処理アプリケーションプログラムの実行による処理のフローチャートについて説明する。
【００４７】
図５は、本発明の第１の実施形態に係る画像処理装置による画像補正処理の一例を示すフローチャートである。図５のフローチャートに示されるステップＳ５００〜Ｓ５８０の処理は、画像処理制御部２０４により表示装置１０５を介して表示されたユーザーインターフェース画面上において、操作手順を含めた一連の処理に対応する。
【００４８】
画像入力部２００は、ＣＰＵ１００の制御に基づいて、最初に補正をしたい補正対象の画像データを指定して画像データを読み込む（ステップＳ５００）。
【００４９】
続いて、付帯情報取得部２０７は、ＣＰＵ１００の制御に基づいて、ステップＳ５００で読み込んだ画像データに付属する撮影情報やレンズ情報といった付帯情報を解析して、特にレンズ種や画角などのデータを取得する（ステップＳ５１０）。この解析された付帯情報から、元の画像のもつ射影方式がどれであるかが決定される。
【００５０】
続いて、射影方式変換部２０１は、ＣＰＵ１００の制御に基づいて、操作者が入力装置１０４を用いてその画像の射影方式を変換指示した場合に、これを変更して、歪曲補正をしたい画像の射影方式を決定する（ステップＳ５２０）。
【００５１】
続いて、操作者が調整用の補助線を表示するかどうかの指定を行い、調整補助線作成部２０５は、調整用の補助線を表示するかどうかの指定の有無を判定する（ステップＳ５３０）。これにより、調整用の補助線としての同心円を表示するかどうかが決定される。
【００５２】
ステップＳ５３０の判定の結果、調整用の補助線を表示する指定がある場合（ステップＳ５３０／Ｙｅｓ）は、ステップＳ５４０に進む。ステップＳ５４０に進むと、調整補助線作成部２０５は、ＣＰＵ１００の制御に基づいて、ステップＳ５２０で決定されている射影方式に応じた、調整用補助線のデータを作成する。
【００５３】
続いて、調整補助線表示部２０６は、画像処理制御部２０４の制御に基づいて、調整補助線作成部２０５が作成した、射影方式に応じた同心円の描画を行い、表示する（ステップＳ５５０）。
【００５４】
ステップＳ５５０が終了した場合あるいはステップＳ５３０で調整用の補助線を表示する指定が無い場合（ステップＳ５３０／Ｎｏ）には、ステップＳ５６０に進む。
ステップＳ５６０に進むと、射影方式変換部２０１は、指定された射影方式にしたがって、元の画像データの幾何学的な射影変換処理を行い、画像表示部２０２及び画像処理制御部２０４は、その変換画像を表示装置１０５に表示する。
【００５５】
ここから操作者は、この表示装置１０５に表示された画像に対して、調整用補助線として表示された同心円を目安に、歪曲補正操作画面３００に表示された調整用操作部材３５０を移動させることによって歪曲補正の微調整を行うことになる。
【００５６】
続いて、ＣＰＵ１００（あるいは歪曲補正実行部２０３）は、歪曲補正が操作者の操作により完了したかどうかを判定する（ステップＳ５７０）。ＣＰＵ１００は、操作者が歪曲補正操作画面３００に用意されたＯＫボタン３６０あるいはキャンセルボタン３７０を押下した場合に、歪曲補正が完了したと判定する。
【００５７】
ステップＳ５７０の判定の結果、歪曲補正が完了していない場合（ステップＳ５７０／Ｎｏ）には、ステップＳ５８０に進む。
ステップＳ５８０に進むと、歪曲補正実行部２０３は、操作者が補正実行用の操作部材を操作すると、歪曲補正を実行する。ステップＳ５６０〜Ｓ５８０のループは、調整が完了するまで（ステップＳ５７０／Ｙｅｓ）、歪曲補正の実行（ステップＳ５８０）と表示（ステップＳ５６０）を繰り返す。
【００５８】
そして、操作者が満足のいく補正結果が得られたら、ステップＳ５７０の判定の結果、歪曲補正が完了した場合となり、本処理は終了する。
【００５９】
なお、操作者が歪曲補正操作画面３００に用意されたＯＫボタン３６０を押下することで、この処理の結果が保存されることになる。一方、操作者がキャンセルボタン３７０を押下した場合は、一連の操作処理は破棄される。
【００６０】
以上の説明の通り、第１の実施形態によれば、操作者は、魚眼レンズのような超広視野光学系レンズによる超広角画像をその射影方式に応じた画角を示す複数の同心円を目安に歪曲補正を簡便かつ適切に補正することができる。また、補正のやり直しも容易である。
【００６１】
（第２の実施形態）
上記第１の実施形態では、射影方式と画角の２つの情報から調整用補助線としての同心円を表示することで効率的に光学的にもより適切な歪曲補正を行うことができた。一方、第２の実施形態では、これに加えて、操作者の操作により調整用補助線として表示される同心円を画像の中心から対角方向に、その大きさを可変できるようにすることで、より、緻密かつ正確に歪曲補正の処理を行うことを可能とする。
【００６２】
以下、図６及び図７を参照して、本発明の第２の実施形態に係る画像処理装置について説明する。
【００６３】
図６は、本発明の第２の実施形態に係る画像処理装置の変換補正装置１０６の概略システム構成の一例を示すブロック図である。
【００６４】
図６に示された各種の処理部による処理は、ＣＰＵ１００が外部記憶装置１０３に記憶された各種の画像処理アプリケーションプログラム等をメモリ１０２に展開し実行する。そして、変換補正装置１０６が備える各部２００〜２０７、６１０がＣＰＵ１００からの指令に基づいて所定の動作を行うことにより実現される。
【００６５】
第２の実施形態に係る変換補正装置１０６は、画像入力部２００、射影方式変換部２０１、画像表示部２０２、歪曲補正実行部２０３、画像処理制御部２０４、調整補助線作成部２０５、調整補助線表示部２０６、付帯情報取得部２０７を備える。これらは、第１の実施形態に係る変換補正装置１０６が備えるもの（図２）と同じであるので、ここでの説明は省略する。
【００６６】
第２の実施形態に係る変換補正装置１０６は、これらに加えて、調整補助線表示の変更部６１０を備える。
調整補助線表示の変更部６１０は、事前に操作者が決めた同心円の表示間隔、つまり入射角の増分を好みに応じて設定できる。具体的には、調整補助線表示の変更部６１０は、マウス操作などの操作者の操作の入力に応じて、動的に表示されている調整補助線の表示間隔および大きさの少なくともいずれかを変更する。また、調整補助線表示の変更部６１０は、表示手段により表示している調整補助線に関して、その大きさ、表示間隔を含む設定を事前に登録することができる。
【００６７】
図７は、本発明の第２の実施形態に係る画像処理装置による画像補正処理の一例を示すフローチャートである。図７のフローチャートに示されているステップＳ７００〜Ｓ７９０の処理は、ユーザーインターフェース画面上において、操作手順を含めた一連の処理に対応する。
【００６８】
画像入力部２００は、ＣＰＵ１００の制御に基づいて、最初に補正をしたい画像を指定して画像を読み込む（ステップＳ７００）。
【００６９】
続いて、付帯情報取得部２０７は、ＣＰＵ１００の制御に基づいて、ステップＳ７００で読み込んだ画像データに付属する撮影情報やレンズ情報といった付帯情報を解析して、特にレンズ種や画角などのデータを取得する（ステップＳ７１０）。この解析された付帯情報から、元の画像のもつ射影方式がどれであるかが決定される。
【００７０】
続いて、射影方式変換部２０１は、ＣＰＵ１００の制御に基づいて、操作者が入力装置１０４を用いてその画像の射影方式を変換指示した場合に、これを変更して、歪曲補正をしたい画像の射影方式を決定する（ステップＳ７２０）。
【００７１】
続いて、操作者が調整用の補助線を表示するかどうかの指定を行い、調整補助線作成部２０５は、調整用の補助線を表示するかどうかの指定の有無を判定する（ステップＳ７３０）。これにより、調整用の補助線としての同心円を表示するかどうかが決定される。
【００７２】
ステップＳ７３０の判定の結果、調整用の補助線を表示する指定がある場合（ステップＳ７３０／Ｙｅｓ）は、ステップＳ７４０に進む。ステップＳ７４０に進むと、調整補助線作成部２０５は、ＣＰＵ１００の制御に基づいて、ステップＳ７２０で決定されている射影方式に応じた、調整用補助線のデータを作成する。
【００７３】
続いて、調整補助線表示部２０６は、画像処理制御部２０４の制御に基づいて、調整補助線作成部２０５が作成した、射影方式に応じた同心円の描画を行い、表示する（ステップＳ７５０）。
【００７４】
ここで、第２の実施形態の大きな特徴として、表示された調整補助線としての同心円をマウスのドラッグにより、その大きさを微調整することができる。
【００７５】
そこで、調整補助線表示の変更部６１０は、操作者がマウスで補助線をドラッグしているかどうか判定する（ステップＳ７６０）。
【００７６】
ステップＳ７６０の判定の結果、ドラッグしている場合（ステップＳ７６０／Ｎｏ）には、ステップＳ７４０に戻り、ドラッグしたマウスの移動量から同心円の半径を計算して新しい調整補助線としての同心円を作成・表示する（ステップＳ７４０及びＳ７５０）。
【００７７】
一方、ステップＳ７６０の判定の結果、ドラッグしていない場合（ステップＳ７６０／Ｙｅｓ）あるいはステップＳ７３０で調整用の補助線を表示する指定が無い場合（ステップＳ７３０／Ｎｏ）には、以下の変換画像の表示（ステップＳ７７０）に進む。
ステップＳ７７０に進むと、射影方式変換部２０１は、指定された射影方式にしたがって、元の画像データの幾何学的な射影変換処理を行い、画像表示部２０２及び画像処理制御部２０４は、その変換画像を表示装置１０５に表示する。
【００７８】
ここからこの表示装置１０５に表示された画像に対して、調整用補助線として表示された同心円を目安に、歪曲補正を行うことになる。
【００７９】
続いて、ＣＰＵ１００（あるいは歪曲補正実行部２０３）は、歪曲補正が操作者の操作により完了したかどうかを判定する（ステップＳ７８０）。
【００８０】
ステップＳ７８０の判定の結果、歪曲補正が完了していない場合（ステップＳ７８０／Ｎｏ）には、ステップＳ７９０に進む。
ステップＳ７９０に進むと、歪曲補正実行部２０３は、操作者が補正実行用の操作部材を操作すると、歪曲補正を実行する。
【００８１】
操作者は補正実行用の操作部材を操作して歪曲補正を実行（ステップＳ７９０）し、調整が完了するまで、補正の実行と表示を繰り返す。その際、補正結果によっては、再度調整補助線の大きさや位置を変更した方が補正の調整がしやすい場合もある。そこで、ステップＳ７９０の補正実行の後は、操作者による同心円の再調整が可能であるようにステップＳ７６０に戻る。
こうして、調整が完了するまで、調整補助線の再計算（ステップＳ７４０、Ｓ７５０）および画像表示（ステップＳ７７０）、歪曲補正の実行（ステップＳ７９０）を繰り返す。
【００８２】
以上の通り、第２の実施形態によれば、歪曲補正を効率よく行うために、表示されている同心円の表示位置（半径）を操作者がマウス等の入力操作で変更することができる。そして、所望の画角同心円を画像に撮像されている対象とする被写体の位置に合わせて、調整することが可能である。
【産業上の利用可能性】
【００８３】
なお、前述した本発明の実施形態は、何れも本発明を実施するにあたっての具体化の例を示したものに過ぎず、これらによって本発明の技術的範囲が限定的に解釈されてはならないものである。即ち、本発明はその技術思想、又はその主要な特徴から逸脱することなく、様々な形で実施することができる。また、上述の実施形態の一部を適宜組み合わせてもよい。
【００８４】
また、本発明は、以下の処理を実行することによっても実現される。即ち、上述した実施形態の機能を実現するソフトウェア（プログラム）を、ネットワーク又は各種記憶媒体を介してシステム或いは装置に供給し、そのシステム或いは装置のコンピュータ（またはＣＰＵやＭＰＵ等）がプログラムを読み出して実行する処理である。
【００８５】
このプログラム及び当該プログラムを記憶したコンピュータ読み取り可能な記録媒体は、本発明に含まれる。
【符号の説明】
【００８６】
２００ 画像入力部、２０１ 射影方式変換部、２０２ 画像表示部、２０３ 歪曲補正実行部、２０４ 画像処理制御部、２０５ 調整補助線作成部、２０６ 調整補助線表示部、２０７ 付帯情報取得部
【特許請求の範囲】
【請求項１】
表示装置に表示された操作画面にしたがって補正対象の画像を補正する画像処理装置であって、
前記表示装置に前記補正対象の画像を入力する画像入力手段と、
操作者の操作に基づいて、前記補正対象の画像に固有の光学特性としての第１の射影方式による画像を第２の射影方式に変換する射影方式変換手段と、
前記第２の射影方式に応じた調整用補助線を作成する調整補助線作成手段と、
前記調整補助線作成手段によって作成された調整用補助線を前記表示装置に前記第２の射影方式によって変換された画像とともにオーバーレイ表示する表示手段と、
操作者の操作に基づいて、前記第２の射影方式による画像の歪曲補正を行う歪曲補正実行手段と
を有することを特徴とする画像処理装置。
【請求項２】
前記補正対象の画像に付帯される付帯情報を解析して取得する付帯情報取得手段を更に有し、
前記調整補助線作成手段は、前記付帯情報に含まれるレンズ種別から対応する射影方式を認識して、その射影方式の原理から導出される補助線を作成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記表示手段は、前記射影方式変換手段により変換された画像を前記調整用補助線と同時に表示することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記表示手段により表示している前記調整補助線に関して、その大きさおよび表示間隔の少なくともいずれかを含む設定を操作者の操作に応じて変更することができる調整補助線表示の変更手段を更に有することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
表示装置に表示された操作画面にしたがって補正対象の画像を補正する画像処理装置による画像処理方法であって、
前記表示装置に前記補正対象の画像を入力する画像入力ステップと、
操作者の操作に基づいて、前記補正対象の画像に固有の光学特性としての第１の射影方式による画像を第２の射影方式に変換する射影方式変換ステップと、
前記第２の射影方式に応じた調整用補助線を作成する調整補助線作成ステップと、
前記調整補助線作成ステップによって作成された調整用補助線を前記表示装置に前記第２の射影方式によって変換された画像とともにオーバーレイ表示する表示ステップと、
操作者の操作に基づいて、前記第２の射影方式による画像の歪曲補正を行う歪曲補正実行ステップと
を有することを特徴とする画像処理方法。
【請求項１】
表示装置に表示された操作画面にしたがって補正対象の画像を補正する画像処理装置であって、
前記表示装置に前記補正対象の画像を入力する画像入力手段と、
操作者の操作に基づいて、前記補正対象の画像に固有の光学特性としての第１の射影方式による画像を第２の射影方式に変換する射影方式変換手段と、
前記第２の射影方式に応じた調整用補助線を作成する調整補助線作成手段と、
前記調整補助線作成手段によって作成された調整用補助線を前記表示装置に前記第２の射影方式によって変換された画像とともにオーバーレイ表示する表示手段と、
操作者の操作に基づいて、前記第２の射影方式による画像の歪曲補正を行う歪曲補正実行手段と
を有することを特徴とする画像処理装置。
【請求項２】
前記補正対象の画像に付帯される付帯情報を解析して取得する付帯情報取得手段を更に有し、
前記調整補助線作成手段は、前記付帯情報に含まれるレンズ種別から対応する射影方式を認識して、その射影方式の原理から導出される補助線を作成することを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記表示手段は、前記射影方式変換手段により変換された画像を前記調整用補助線と同時に表示することを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
前記表示手段により表示している前記調整補助線に関して、その大きさおよび表示間隔の少なくともいずれかを含む設定を操作者の操作に応じて変更することができる調整補助線表示の変更手段を更に有することを特徴とする請求項１乃至３のいずれか１項に記載の画像処理装置。
【請求項５】
表示装置に表示された操作画面にしたがって補正対象の画像を補正する画像処理装置による画像処理方法であって、
前記表示装置に前記補正対象の画像を入力する画像入力ステップと、
操作者の操作に基づいて、前記補正対象の画像に固有の光学特性としての第１の射影方式による画像を第２の射影方式に変換する射影方式変換ステップと、
前記第２の射影方式に応じた調整用補助線を作成する調整補助線作成ステップと、
前記調整補助線作成ステップによって作成された調整用補助線を前記表示装置に前記第２の射影方式によって変換された画像とともにオーバーレイ表示する表示ステップと、
操作者の操作に基づいて、前記第２の射影方式による画像の歪曲補正を行う歪曲補正実行ステップと
を有することを特徴とする画像処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１２−１０３８０５（Ｐ２０１２−１０３８０５Ａ）
【公開日】平成２４年５月３１日（２０１２．５．３１）
【国際特許分類】
【出願番号】特願２０１０−２５０１６０（Ｐ２０１０−２５０１６０）
【出願日】平成２２年１１月８日（２０１０．１１．８）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年５月３１日（２０１２．５．３１）
【国際特許分類】
【出願日】平成２２年１１月８日（２０１０．１１．８）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]