映像信号処理装置及び映像信号処理方法
【課題】全周囲カメラのような特殊な光学系で撮像された歪みのある画像に対しても、高い超解像効果を得ることができる映像信号処理装置及び方法を提供すること。
【解決手段】歪補正変換式算出部１２３は、各切出し領域の非線形歪みを補正するための歪補正変換式を算出する。歪補正・補間処理部１０１は、各切出し領域に対して歪補正及び補間処理を行う。位置合せ変換式算出部１０４は、歪補正及び補間処理後の各切出し画像間での位置合せを行うための位置合せ変換式を算出する。画素座標変換部１１１は、補間処理が行われる前の、各フレーム画像に対して、切出し領域に対応する歪補正変換式及び位置合せ変換式を用いて、画素座標の再配置を行う。画像合成部１１２は、画素座標変換部１１１により得られた複数フレーム分の再配置された切出し画像を合成する。
【解決手段】歪補正変換式算出部１２３は、各切出し領域の非線形歪みを補正するための歪補正変換式を算出する。歪補正・補間処理部１０１は、各切出し領域に対して歪補正及び補間処理を行う。位置合せ変換式算出部１０４は、歪補正及び補間処理後の各切出し画像間での位置合せを行うための位置合せ変換式を算出する。画素座標変換部１１１は、補間処理が行われる前の、各フレーム画像に対して、切出し領域に対応する歪補正変換式及び位置合せ変換式を用いて、画素座標の再配置を行う。画像合成部１１２は、画素座標変換部１１１により得られた複数フレーム分の再配置された切出し画像を合成する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、特に全周囲カメラのように特殊な光学系を有するカメラで撮像された非線形歪みのある撮像画像に対して、超解像処理を行う技術に関する。
【背景技術】
【０００２】
従来、撮像画像の解像度を上げる所謂超解像技術として、複数枚の撮像画像を合成することで解像度を上げる技術が多数提案されている（例えば、特許文献１及び２参照）。
【０００３】
図１に、複数枚の撮像画像を用いた超解像技術のイメージを示す。図に示すように、複数枚（Ｎ枚）の低解像度画像を合成することで、超解像画像が形成される。具体的には、先ず、カメラで撮像した同じ被写体に対する複数枚の低解像度画像に対して、サブピクセル（１ピクセルのサイズより小さい）精度の位置合せを行う。次に、位置合せ後の複数枚画像を合成する。これにより、合成後の画像（超解像画像）は、空間標本点が増え、標本化周波数が上がることにより、解像度が向上する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−０９１９７９号公報
【特許文献２】特開２００８−１１７４１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、上述したように、複数枚の画像を用いた超解像技術においては、被写体の位置合わせが必要である。
【０００６】
この位置合わせは、カメラ光学系の射影方式が透視射影方式であれば、図２に示すように、フレーム間で、平行移動、拡大・縮小、反転、回転、傾斜などの線形変換を行うことで実現できる。
【０００７】
しかし、カメラ光学系が特殊射影方式（例えば超広角レンズ、魚眼レンズ、全周囲ミラーなど）の場合には、撮影された画像には非線形的な歪みが発生するので、線形変換のみによる位置合せは困難である。
【０００８】
このような特殊射影方式で撮影した複数枚の画像を用いて超解像処理を行うためには、特殊射影画像から透視射影画像への変換、すなわち歪補正を行った後に、合成のための位置合せを行うことになる。
【０００９】
しかしながら、通常、歪補正は補間処理を伴い、この補間処理の影響により、元画像に含まれている折り返し高周波成分が失われてしまうため、超解像の効果が小さくなる。因みに、補間処理を伴わない歪補正を行う場合であっても、歪補正後の画像の画素位置は、サブピクセル単位で異なるので、マッチングによる高精度の位置合せを行うためには、対応する画素を生成するための補間処理が必要となる。よって、やはりこの場合も、元画像に含まれている折り返し高周波成分が失われてしまうため、超解像の効果が小さくなる。
【００１０】
本発明は、以上の点を考慮してなされたものであり、全周囲カメラのような特殊な光学系で撮像された歪みのある画像に対しても、高い超解像効果を得ることができる映像信号処理装置及び映像信号処理方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明の映像信号処理装置の一つの態様は、切出し位置によって非線形歪みが異なるフレーム画像を、複数枚用いて、超解像画像を得る映像信号処理装置であって、各フレーム画像の切出し領域の非線形歪みを補正するための第１の座標変換式を各フレーム毎に得る第１の座標変換式算出部と、前記各切出し領域に対して、前記各切出し領域に対応する前記第１の座標変換式を用いて歪補正を行うと共に、歪補正後の各切出し画像に対して、補間処理を行う、歪補正・補間処理部と、前記歪補正及び補間処理後の各切出し画像を用い、各切出し画像間でのマッチング結果を基に、切出し画像間での位置合せを行うための第２の座標変換式を得る第２の座標変換式算出部と、前記補間処理が行われる前の、前記各フレーム画像に対して、各切出し領域に対応する前記第１及び第２の座標変換式を用いて、画素座標の再配置を行う画素座標変換部と、前記画素座標変換部により得られた複数フレーム分の再配置された切出し画像を合成する合成部と、を具備する。
【００１２】
本発明の映像信号処理方法の一つの態様は、切出し位置に応じて非線形歪みが異なるフレーム画像を、複数枚用いて、超解像画像を得る映像信号処理方法であって、各フレーム画像の切出し領域の非線形歪みを補正するための第１の座標変換式を各フレーム毎に得る第１の座標変換式算出ステップと、前記各切出し領域に対して、前記各切出し領域に対応する前記第１の座標変換式を用いて歪補正を行うと共に、歪補正後の各切出し画像に対して、補間処理を行う、歪補正・補間処理ステップと、前記歪補正及び補間処理後の各切出し画像を用い、各切出し画像間でのマッチング結果を基に、切出し画像間での位置合せを行うための第２の座標変換式を得る第２の座標変換式算出ステップと、前記補間処理が行われる前の、前記各フレーム画像に対して、各切出し領域に対応する前記第１及び第２の座標変換式を用いて、画素座標の再配置を行う画素座標変換ステップと、前記画素座標変換ステップで得られた複数フレーム分の再配置された切出し画像を合成する合成ステップと、を含む。
【発明の効果】
【００１３】
本発明によれば、フレーム画像間での位置合わせのための座標算出には、歪補正処理及び補間処理を施した画像を用い、実際の合成時には、補間処理を行う前の、元画像の画素値を直接用いるので、合成に用いられる位置合せされた複数の切出し画像は、折り返し高周波成分が失われていない。この結果、高周波成分が残った合成画像（超解像画像）が得られ、高い超解像効果を得ることができる。
【図面の簡単な説明】
【００１４】
【図１】複数枚の撮像画像を用いた超解像技術のイメージを示す図
【図２】フレーム間での線形変換のイメージを示す図
【図３】実施の形態の映像信号処理装置の構成を示すブロック図
【図４】切出し領域の決定方式の説明に供する図
【図５】歪補正及び位置合せ処理のイメージを示す図であり、図５Ａは各フレームの切出し領域を示す図、図５Ｂは歪補正及び補間処理後の切出し画像を示す図、図５Ｃは位置合せ後の切出し画像を示す図
【図６】画素の再配置及び合成処理のイメージを示す図であり、図６Ａは各フレームの切出し領域を示す図、図６Ｂは再配置後の切出し画像を示す図、図６Ｃは合成後の切出し画像を示す図
【図７】テンプレート画像に関する処理手順を示すフローチャート
【図８】テンプレート画像以外の切出し画像に関する処理手順を示すフローチャート
【図９】本発明の特徴的な処理の流れをまとめた図
【図１０】一般的な超解像処理のイメージを示す図
【発明を実施するための形態】
【００１５】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【００１６】
［１］全体構成
図３に、本実施の形態の映像信号処理装置の構成を示す。映像信号処理装置１００は、フレーム中での切出し位置に応じて非線形歪みが異なるフレーム画像を、複数枚用いて、超解像画像を得るようになっている。
【００１７】
切出し領域決定部１２１は、入力画像Ｓ１から切り出す切出し領域を決定する。切出し領域とは、フレーム画像中の注目領域であり、人物等の超解像処理ターゲットを含む領域である。この切出し領域の決定は、例えば、ターゲットをトラッキングすることで行えばよい。切出し領域の決定方法については、後で詳しく説明する。なお、図３の例は、切出し領域決定部１２１に入力画像Ｓ１を入力し、トラッキングにより自動的に切出し領域を決定する構成であるが、切出し領域はユーザにより指定された領域であってもよい。切出し領域決定部１２１によって決定された切出し領域の位置情報は、歪補正変換式算出部１２３に出力される。
【００１８】
射影方式格納部１２２には、特殊光学系の射影方式に対応するパラメータが格納されている。この歪みのパラメータとは、入力画像Ｓ１を撮像するカメラの光学パラメータと言い換えてもよい。つまり、全周囲カメラ等の特殊射影方式では、１フレーム内の位置に応じて歪みの度合いが異なるので、射影方式格納部１２２には、１フレーム内の位置に応じた歪み度合いを算出するためのパラメータが格納されている。
【００１９】
歪補正変換式算出部１２３は、切出し領域決定部１２１からの切出し領域の位置情報と射影方式格納部１２２からの光学パラメータとを読み出し、この切出し領域の位置情報と光学パラメータとを用いて、歪補正のための変換式を算出する。このように、歪補正変換式算出部１２３は、各フレーム画像の切出し領域の非線形歪みを補正するための第１の座標変換式Ｃｎを各フレーム毎に得る。ここで、Ｃｎは第ｎ番目のフレームの切出し領域に対する歪補正変換式（第１の座標変換式）を表す。本実施の形態の場合、Ｃｎは射影式から算出された座標変換式である。
【００２０】
歪補正・補間処理部１０１は、複数フレーム分の画像Ｓ１を入力すると共に、歪補正変換式算出部１２３から歪補正変換式Ｃｎを入力する。歪補正・補間処理部１０１は、入力した複数フレームの画像Ｓ１の切り出し領域に対して、歪補正変換式Ｃｎを用いて歪補正を行う。さらに、歪補正・補間処理部１０１は、歪補正後の切出し画像に対して補間処理を施す。つまり、歪補正・補間処理部１０１は、各フレーム画像に対して、切出し領域に対応する歪補正変換式（第１の座標変換式）Ｃｎを用いて歪補正を行うと共に、歪補正後の各切出し画像に対して、補間処理を行う。これにより、続く位置合せ部１０２での位置合せが可能な画像とされる。因みに、それぞれ異なる歪補正を行った画像間でパターンマッチングを行うためには、対応した位置の画素を作るために補間処理が必要になるので、歪補正・補間処理部１０１では、歪補正に加えて補間処理を行うようになっている。
【００２１】
ここで、歪補正・補間処理部１０１は、入力した複数フレーム分の画像Ｓ１のうち、１枚のフレーム画像は歪補正及び補間処理を施した後にテンプレート格納部１０３に出力し、残りのフレーム画像は歪補正及び補間処理を施した後に順次位置合せ処理部１０２に出力する。テンプレート格納部１０３に格納されるのは、複数フレーム画像のうち、例えば最初のフレームから歪み補正及び補間処理を施した後の切出し画像である。
【００２２】
位置合せ処理部１０２は、テンプレート格納部１０３に格納されたテンプレート画像と、歪補正・補間処理部１０１から順次入力される切出し画像との、マッチング処理を行うことにより、位置合せ処理を行う。具体的には、位置合せ処理部１０２と位置合せ変換式算出部１０４とが協働して、パターンマッチング処理を行い、最終的に、位置合せ変換式算出部１０４にて、切出し画像間での位置合せを行うための位置合せ変換式（第２の座標変換式）Ｈｎが得られる。この位置合せ算出式Ｈｎは、画像変換式算出部１０５に送出される。ここで、Ｈｎは第ｎ番目のフレームから切り出した切出し画像に対する位置合せ変換式（第２の座標変換式）を表す。本実施の形態の場合、Ｈｎは変換行列である。
【００２３】
画像変換式算出部１０５は、歪補正変換式算出部１２３から各フレーム画像の歪補正変換式Ｃｎを入力すると共に、位置合せ変換式算出部１０４から各切出し画像の位置合せ変換式Ｈｎを入力し、各フレーム画像に関する、歪補正変換式Ｃｎと位置合せ変換式Ｈｎとを統合し、それを統合された座標変換式として画素座標変換部１１１に送出する。
【００２４】
画素座標変換部１１１は、複数フレーム分の画像Ｓ１を入力すると共に、歪補正変換式（第１の座標変換式）と位置合せ変換式（第２の座標変換式）とが統合された変換式を画像変換式算出部１０５から入力する。そして、画素座標変換部１１１は、各フレーム画像に対応する画像変換式を用いて、各切出し領域の画素座標を変換する。
【００２５】
これにより、画素座標変換部１１１は、補間処理が行われる前の、各フレーム画像に対して、切出し領域に対応する画像変換式（第１及び第２の座標変換式）を用いて、画素座標の再配置を行う。この結果、画素座標が再配置された、つまり、歪みが補正されかつ位置合せがなされた、複数フレーム分の切出し画像が得られる。この複数フレーム分の再配置された切出し画像は、補間処理が行われていないので、折り返し高周波成分が失われていない。
【００２６】
画像合成部１１２は、画素座標変換部１１１により得られた複数フレーム分の切出し画像を合成する。これにより、解像度が向上された合成画像（超解像画像）が得られる。
【００２７】
画像補間部１１３は、合成画像に対して補間処理を行う。ここで、画像合成部１１２で合成される各切出し画像の画素位置は、歪みの度合いなどに応じてバラバラなので（小数点以下の画素精度で配置されるので）、合成画像の画素位置も規定の位置にあるとは限らない。そこで、画像補間部１１３は、規定の位置の画素を補間により生成する。
【００２８】
［２］切出し領域決定部での処理
次に、切出し領域決定部１２１での領域切出について説明する。本実施の形態では、図４に示すように、＜方式１＞、＜方式２＞、＜方式３＞の３つの領域切出の方式を提示する。
【００２９】
＜方式１＞
この方式は、複数フレーム＃１〜＃ｎで同一の切出領域を設定する方式である。この方式は、人間等のターゲットの移動速度はあまり大きくなく、隣接する複数フレームでは、ターゲットは同一の切出領域内に収まっているであろうという仮定に基づく。なお、この方式での切出領域は、後述する＜方式２＞及び＜方式３＞の切出領域よりも広く設定される。
【００３０】
＜方式２＞
この方式は、ターゲットトラッキング方式と呼ぶことができるものである。この方式は、ターゲットをフレーム毎にトラッキングし、ターゲットの移動に応じて各クレーム＃１〜＃ｎでの切出領域を変更するものである。
【００３１】
＜方式３＞
この方式は、フレーム間マッチング方式と呼ぶことができるものである。この方式は、隣接フレームの切出領域は同一としつつ、マッチング結果に応じて切出領域を変更するものである。例えば、フレーム＃１と＃２では同一の切出領域を設定し、フレーム＃２と＃３では同一の切出領域を設定する。ここで、フレーム＃２と＃３の切出領域は、フレーム＃１と＃２の切出領域の画像と、テンプレート画像と、のマッチング結果に応じて、被写体（人物）が切出領域のほぼ中央に位置するように設定される。
【００３２】
［３］歪補正、補間、位置合せ、画素の再配置、及び、合成の処理イメージ
次に、図５及び図６を用いて、映像信号処理装置１００によって行われる処理イメージを説明する。図５は、歪補正及び位置合せ処理のイメージを示し、図６は、画素の再配置及び合成処理のイメージを示す。
【００３３】
先ず、図５を用いて、歪補正・補間処理部１０１で行われる歪補正と、位置合せ処理部１０２で行われる位置合せ処理と、について説明する。先ず、図５Ａに示すように、切出し領域決定部１２１によって、各フレーム＃０，＃１，＃２，…の切出し領域Ｐ０，Ｐ１，…が決定される。次に、歪補正・補間処理部１０１によって、各フレーム＃０，＃１，＃２，…の切出し領域Ｐ０，Ｐ１，…に対して、歪補正及び補間処理が施されることにより、図５Ｂに示す位置合せ用の画像Ｐ０−１，Ｐ１−１，…が形成される。
【００３４】
図５Ｂに示すように、フレーム＃０の切出し領域Ｐ０に歪補正及び補間処理が施された画像Ｐ０−１はテンプレート画像とされ、フレーム＃１，＃２，………の切出し領域Ｐ１，…に歪補正及び補間処理が施された画像Ｐ１−１，…は位置合せのための切出し画像Ｐ１−１，…とされる。
【００３５】
ここで、各フレーム＃０，＃１，＃２，…の切出し領域Ｐ０，Ｐ１，…に対する歪補正変換式をそれぞれ、Ｃ０，Ｃ１，Ｃ２，…と表し、歪補正前の画素の座標を（Ｘ０，Ｙ０）と表し、歪補正後の画素の座標を（ｘ，ｙ）と表すと、第ｎフレームの切出し領域Ｐｎに対する歪補正は、次の非線形演算式で表すことができる。
【００３６】
【数１】
なお、式（１）において、Ｃｎｘは第ｎフレームの切出し領域Ｐｎのｘ成分に関する歪変換式を表し、Ｃｎｙは第ｎフレームの切出し領域Ｐｎのｙ成分に関する歪変換式を表す。
【００３７】
次に、テンプレート画像Ｐ０−１を基準として、このテンプレート画像Ｐ０−１に対する各切出し画像Ｐ１−１，…の位置合せが行われる。つまり、各切出し画像Ｐ１−１，…をテンプレート画像Ｐ０−１に位置合せするための位置合せ変換式が算出される。
【００３８】
ここで、各フレーム＃１，＃２，…の歪補正及び補間処理後の切出し画像Ｐ１−１，Ｐ２−１，…に対する位置合せ変換式（変換行列）をそれぞれ、Ｈ１，Ｈ２，…と表し、位置合せ前の画素の座標を（ｘ，ｙ）と表し、位置合せ後の画素の座標を（ｘ’，ｙ’）と表すと、第ｎフレームの切出し画像Ｐｎ−１に対する位置合せ変換は、次の線形演算式で表すことができる。
【００３９】
【数２】
図５Ｃに示すように、式（２）の線形演算式を用いることで、切出し画像Ｐ１−１が、テンプレート画像Ｐ０−１と位置合せされた切出し画像Ｐ１−２とされる。
【００４０】
次に、図６を用いて、画素座標変換部１１１で行われる画素座標変換処理、及び、画像合成部１１２と画像補間部１１３とで行われる合成補間処理について説明する。
【００４１】
画素座標変換部１１１は、図６Ａに示すような、入力された各フレーム＃０，＃１，＃２，…の切出し領域Ｐ０，Ｐ１，Ｐ２，…に対して、画像変換式（式（１）と式（２）とを統合した式）を用いた画素再配置を行うことで、図６Ｂに示すような、再配置後の切出し画像Ｐ０−３，Ｐ１−３，Ｐ２−３，…を得る。
【００４２】
次に、画像合成部１１２によって再配置後の切出し画像Ｐ０−３，Ｐ１−３，Ｐ２−３，…を１枚の画像に合成し、画像補間部１１３によって合成画像を補間することで、図６Ｃに示すような、超解像画像Ｐｘが得られる。
【００４３】
［４］動作
次に、本実施の形態の映像信号処理装置１００の動作を、フローチャートを用いて説明する。
【００４４】
図７に、テンプレート画像に関する処理手順（テンプレート処理手順）を示す。
【００４５】
映像信号処理装置１００は、ステップＳＴ１０でテンプレート処理を開始すると、ステップＳＴ１１でテンプレート画像が含まれる入力画像Ｓ１を入力する。ステップＳＴ１２では、切出し領域決定部１２１が切出し領域を決定する。ステップＳＴ１３では、歪補正変換式算出部１２３がテンプレート画像の歪補正変換式を算出する。ステップＳＴ１４では、歪補正・補間処理部１０１がテンプレート画像に対して歪補正及び補間処理を施す。ステップＳＴ１５では、歪補正及び補間処理後のテンプレート画像がテンプレート格納部１０３に格納される。ステップＳＴ１６では、画像変換式算出部１０５がテンプレート画像の画像変換式を算出する。なお、テンプレート画像の画像変換式は、位置合せ変換式が無く、歪補正変換式のみで構成される。ステップＳＴ１７では、画素座標変換部１１１によって、テンプレート画像に対して画像変換式を用いた画素座標変換（画素の再配置）が行われる。そして、続くステップＳＴ１８でテンプレート処理を終了する。
【００４６】
図８に、テンプレート画像以外の切出し画像に関する処理手順（非テンプレート処理手順）を示す。
【００４７】
映像信号処理装置１００は、ステップＳＴ２０で非テンプレート処理を開始すると、先ず、ステップＳＴ２１でフレーム画像を入力する。ステップＳＴ２２では、切出し領域決定部１２１が切出し領域を決定する。ステップＳＴ２３では、歪補正変換式算出部１２３が各切出し領域の歪補正変換式を算出する。ステップＳＴ２４では、歪補正・補間処理部１０１が各切出し領域に対して、歪補正変換式を用いた歪補正と、補間処理と、を施す。ステップＳＴ２５では、位置合わせ処理部１０２が、歪補正及び補間処理が施された各切出し画像と、テンプレート画像と、の位置合わせを行う。ステップＳＴ２６では、位置合わせが成功したか否か判断し、位置合わせが成功した場合には（ステップＳＴ２６；Ｙｅｓ）、ステップＳＴ２７に移る。ステップＳＴ２７では、位置合わせ変換式算出部１０４が、最終的な位置合せ変換式を算出する。
【００４８】
なお、ステップＳＴ２６で位置合せが成功しない場合、このことは、切出し画像内にはテンプレート画像とマッチングがとれるターゲットは存在しないことを意味するので（例えばテンプレート画像中のターゲットに対して切出し画像中のターゲットの内容が大きく変化しており、パターンマッチングができない状態である）、位置合せを諦めてステップＳＴ３０に移る。
【００４９】
ステップＳＴ２８では、画像変換式算出部１０５が、歪補正変換式と位置合せ変換式とを統合した画像変換式を算出する。ステップＳＴ２９では、画素座標変換部１１１が、各入力画像に対して、統合された画像変換式を用いた画素座標変換を行う。これにより、画素座標が再配置された切出し画像を得る。ステップＳＴ３０では、現在の処理対象が最終フレームであるか否か判断し、最終フレームの場合には（ステップＳＴ３０；Ｙｅｓ）ステップＳＴ３１に移り、最終フレームでない場合には（ステップＳＴ３０；Ｎｏ）ステップＳＴ２１に戻る。このように、予め決められた最終フレームになるまで、各フレームの切出し画像に対して順次、ステップＳＴ２１−ＳＴ３０の処理が繰り返される。
【００５０】
映像信号処理装置１００は、最初のフレームから最終フレームまでの複数フレーム分の画素座標変換された切出し画像が形成されると、ステップＳＴ３１に移る。ステップＳＴ３１では、画像合成部１１２が、画素座標変換された複数フレーム分の切出し画像を合成し、画像補間部１１３が、合成後の画像に対して補間処理を施す。そして、ステップＳＴ３２で非テンプレート処理を終了する。
【００５１】
［５］効果
以上説明したように、本実施の形態によれば、各フレーム画像の切出し領域の非線形歪みを補正するための歪補正変換式（第１の座標変換式）をフレーム毎に得る歪補正変換式算出部１２３と、各切出し領域に対して歪補正及び補間処理を行う歪補正・補間処理部１０１と、歪補正及び補間処理後の各切出し画像間での位置合せを行うための位置合せ変換式（第２の座標変換式）を得る位置合せ変換式算出部１０４と、補間処理が行われる前の、各フレーム画像に対して、切出し領域に対応する歪補正変換式及び位置合せ変換式を用いて、画素座標の再配置を行う画素座標変換部１１１と、画素座標変換部１１１により得られた複数フレーム分の再配置された切出し画像を合成する画像合成部１１２と、を有する。
【００５２】
これにより、実際の合成時には、補間処理を行う前の、元画像の画素値を直接用いるので、合成に用いられる位置合せされた複数の切出し画像は、折り返し高周波成分が失われていない。この結果、高周波成分が残った合成画像（超解像画像）が得られ、高い超解像効果を得ることができる。
【００５３】
図９は、本発明の特徴的な処理の流れを示したものである。一方、図１０は、一般的な超解像処理のイメージを示したものである。
【００５４】
図１０に示す一般的な超解像処理においては、歪補正、補間及び位置合せ処理された画像を合成する。これに対して、図９に示す本発明の超解像処理においては、歪補正、補間及び位置合せ処理は座標変換式を求めるために行われ、実際の超解像画像は座標変換式を用いた座標変換（画素の再配置）及び合成により、元の画像の画素値を直接用いて（すなわち補間処理した画素を用いずに）行われる。この結果、本発明では、高周波成分が残った合成画像（超解像画像）が得られる。
【００５５】
なお、上述の実施の形態の映像信号処理装置１００は、メモリ・ＣＰＵを含むパソコン等のコンピュータによって構成することができる。そして、映像信号処理装置１００を構成する各構成要素の機能は、メモリ上に記憶されたコンピュータプログラムをＣＰＵが読み出して実行処理することで実現できる。
【産業上の利用可能性】
【００５６】
本発明は、例えば全周囲カメラのように特殊な光学系を有するカメラで撮像された非線形歪みのある撮像画像に対して超解像処理を行う映像信号処理装置及び方法に好適である。
【符号の説明】
【００５７】
１００ 映像信号処理装置
１０１ 歪補正・補間処理部
１０２ 位置合せ処理部
１０３ テンプレート格納部
１０４ 位置合せ変換式算出部
１０５ 画像変換式算出部
１１１ 画素座標変換部
１１２ 画像合成部
１１３ 画像補間部
１２１ 切出し領域決定部
１２２ 射影方式格納部
１２３ 歪補正変換式算出部
Ｓ１ 入力画像
Ｃｎ 歪補正変換式
Ｈｎ 位置合せ変換式
【技術分野】
【０００１】
本発明は、特に全周囲カメラのように特殊な光学系を有するカメラで撮像された非線形歪みのある撮像画像に対して、超解像処理を行う技術に関する。
【背景技術】
【０００２】
従来、撮像画像の解像度を上げる所謂超解像技術として、複数枚の撮像画像を合成することで解像度を上げる技術が多数提案されている（例えば、特許文献１及び２参照）。
【０００３】
図１に、複数枚の撮像画像を用いた超解像技術のイメージを示す。図に示すように、複数枚（Ｎ枚）の低解像度画像を合成することで、超解像画像が形成される。具体的には、先ず、カメラで撮像した同じ被写体に対する複数枚の低解像度画像に対して、サブピクセル（１ピクセルのサイズより小さい）精度の位置合せを行う。次に、位置合せ後の複数枚画像を合成する。これにより、合成後の画像（超解像画像）は、空間標本点が増え、標本化周波数が上がることにより、解像度が向上する。
【先行技術文献】
【特許文献】
【０００４】
【特許文献１】特開２００８−０９１９７９号公報
【特許文献２】特開２００８−１１７４１６号公報
【発明の概要】
【発明が解決しようとする課題】
【０００５】
ところで、上述したように、複数枚の画像を用いた超解像技術においては、被写体の位置合わせが必要である。
【０００６】
この位置合わせは、カメラ光学系の射影方式が透視射影方式であれば、図２に示すように、フレーム間で、平行移動、拡大・縮小、反転、回転、傾斜などの線形変換を行うことで実現できる。
【０００７】
しかし、カメラ光学系が特殊射影方式（例えば超広角レンズ、魚眼レンズ、全周囲ミラーなど）の場合には、撮影された画像には非線形的な歪みが発生するので、線形変換のみによる位置合せは困難である。
【０００８】
このような特殊射影方式で撮影した複数枚の画像を用いて超解像処理を行うためには、特殊射影画像から透視射影画像への変換、すなわち歪補正を行った後に、合成のための位置合せを行うことになる。
【０００９】
しかしながら、通常、歪補正は補間処理を伴い、この補間処理の影響により、元画像に含まれている折り返し高周波成分が失われてしまうため、超解像の効果が小さくなる。因みに、補間処理を伴わない歪補正を行う場合であっても、歪補正後の画像の画素位置は、サブピクセル単位で異なるので、マッチングによる高精度の位置合せを行うためには、対応する画素を生成するための補間処理が必要となる。よって、やはりこの場合も、元画像に含まれている折り返し高周波成分が失われてしまうため、超解像の効果が小さくなる。
【００１０】
本発明は、以上の点を考慮してなされたものであり、全周囲カメラのような特殊な光学系で撮像された歪みのある画像に対しても、高い超解像効果を得ることができる映像信号処理装置及び映像信号処理方法を提供することを目的とする。
【課題を解決するための手段】
【００１１】
本発明の映像信号処理装置の一つの態様は、切出し位置によって非線形歪みが異なるフレーム画像を、複数枚用いて、超解像画像を得る映像信号処理装置であって、各フレーム画像の切出し領域の非線形歪みを補正するための第１の座標変換式を各フレーム毎に得る第１の座標変換式算出部と、前記各切出し領域に対して、前記各切出し領域に対応する前記第１の座標変換式を用いて歪補正を行うと共に、歪補正後の各切出し画像に対して、補間処理を行う、歪補正・補間処理部と、前記歪補正及び補間処理後の各切出し画像を用い、各切出し画像間でのマッチング結果を基に、切出し画像間での位置合せを行うための第２の座標変換式を得る第２の座標変換式算出部と、前記補間処理が行われる前の、前記各フレーム画像に対して、各切出し領域に対応する前記第１及び第２の座標変換式を用いて、画素座標の再配置を行う画素座標変換部と、前記画素座標変換部により得られた複数フレーム分の再配置された切出し画像を合成する合成部と、を具備する。
【００１２】
本発明の映像信号処理方法の一つの態様は、切出し位置に応じて非線形歪みが異なるフレーム画像を、複数枚用いて、超解像画像を得る映像信号処理方法であって、各フレーム画像の切出し領域の非線形歪みを補正するための第１の座標変換式を各フレーム毎に得る第１の座標変換式算出ステップと、前記各切出し領域に対して、前記各切出し領域に対応する前記第１の座標変換式を用いて歪補正を行うと共に、歪補正後の各切出し画像に対して、補間処理を行う、歪補正・補間処理ステップと、前記歪補正及び補間処理後の各切出し画像を用い、各切出し画像間でのマッチング結果を基に、切出し画像間での位置合せを行うための第２の座標変換式を得る第２の座標変換式算出ステップと、前記補間処理が行われる前の、前記各フレーム画像に対して、各切出し領域に対応する前記第１及び第２の座標変換式を用いて、画素座標の再配置を行う画素座標変換ステップと、前記画素座標変換ステップで得られた複数フレーム分の再配置された切出し画像を合成する合成ステップと、を含む。
【発明の効果】
【００１３】
本発明によれば、フレーム画像間での位置合わせのための座標算出には、歪補正処理及び補間処理を施した画像を用い、実際の合成時には、補間処理を行う前の、元画像の画素値を直接用いるので、合成に用いられる位置合せされた複数の切出し画像は、折り返し高周波成分が失われていない。この結果、高周波成分が残った合成画像（超解像画像）が得られ、高い超解像効果を得ることができる。
【図面の簡単な説明】
【００１４】
【図１】複数枚の撮像画像を用いた超解像技術のイメージを示す図
【図２】フレーム間での線形変換のイメージを示す図
【図３】実施の形態の映像信号処理装置の構成を示すブロック図
【図４】切出し領域の決定方式の説明に供する図
【図５】歪補正及び位置合せ処理のイメージを示す図であり、図５Ａは各フレームの切出し領域を示す図、図５Ｂは歪補正及び補間処理後の切出し画像を示す図、図５Ｃは位置合せ後の切出し画像を示す図
【図６】画素の再配置及び合成処理のイメージを示す図であり、図６Ａは各フレームの切出し領域を示す図、図６Ｂは再配置後の切出し画像を示す図、図６Ｃは合成後の切出し画像を示す図
【図７】テンプレート画像に関する処理手順を示すフローチャート
【図８】テンプレート画像以外の切出し画像に関する処理手順を示すフローチャート
【図９】本発明の特徴的な処理の流れをまとめた図
【図１０】一般的な超解像処理のイメージを示す図
【発明を実施するための形態】
【００１５】
以下、本発明の実施の形態について、図面を参照して詳細に説明する。
【００１６】
［１］全体構成
図３に、本実施の形態の映像信号処理装置の構成を示す。映像信号処理装置１００は、フレーム中での切出し位置に応じて非線形歪みが異なるフレーム画像を、複数枚用いて、超解像画像を得るようになっている。
【００１７】
切出し領域決定部１２１は、入力画像Ｓ１から切り出す切出し領域を決定する。切出し領域とは、フレーム画像中の注目領域であり、人物等の超解像処理ターゲットを含む領域である。この切出し領域の決定は、例えば、ターゲットをトラッキングすることで行えばよい。切出し領域の決定方法については、後で詳しく説明する。なお、図３の例は、切出し領域決定部１２１に入力画像Ｓ１を入力し、トラッキングにより自動的に切出し領域を決定する構成であるが、切出し領域はユーザにより指定された領域であってもよい。切出し領域決定部１２１によって決定された切出し領域の位置情報は、歪補正変換式算出部１２３に出力される。
【００１８】
射影方式格納部１２２には、特殊光学系の射影方式に対応するパラメータが格納されている。この歪みのパラメータとは、入力画像Ｓ１を撮像するカメラの光学パラメータと言い換えてもよい。つまり、全周囲カメラ等の特殊射影方式では、１フレーム内の位置に応じて歪みの度合いが異なるので、射影方式格納部１２２には、１フレーム内の位置に応じた歪み度合いを算出するためのパラメータが格納されている。
【００１９】
歪補正変換式算出部１２３は、切出し領域決定部１２１からの切出し領域の位置情報と射影方式格納部１２２からの光学パラメータとを読み出し、この切出し領域の位置情報と光学パラメータとを用いて、歪補正のための変換式を算出する。このように、歪補正変換式算出部１２３は、各フレーム画像の切出し領域の非線形歪みを補正するための第１の座標変換式Ｃｎを各フレーム毎に得る。ここで、Ｃｎは第ｎ番目のフレームの切出し領域に対する歪補正変換式（第１の座標変換式）を表す。本実施の形態の場合、Ｃｎは射影式から算出された座標変換式である。
【００２０】
歪補正・補間処理部１０１は、複数フレーム分の画像Ｓ１を入力すると共に、歪補正変換式算出部１２３から歪補正変換式Ｃｎを入力する。歪補正・補間処理部１０１は、入力した複数フレームの画像Ｓ１の切り出し領域に対して、歪補正変換式Ｃｎを用いて歪補正を行う。さらに、歪補正・補間処理部１０１は、歪補正後の切出し画像に対して補間処理を施す。つまり、歪補正・補間処理部１０１は、各フレーム画像に対して、切出し領域に対応する歪補正変換式（第１の座標変換式）Ｃｎを用いて歪補正を行うと共に、歪補正後の各切出し画像に対して、補間処理を行う。これにより、続く位置合せ部１０２での位置合せが可能な画像とされる。因みに、それぞれ異なる歪補正を行った画像間でパターンマッチングを行うためには、対応した位置の画素を作るために補間処理が必要になるので、歪補正・補間処理部１０１では、歪補正に加えて補間処理を行うようになっている。
【００２１】
ここで、歪補正・補間処理部１０１は、入力した複数フレーム分の画像Ｓ１のうち、１枚のフレーム画像は歪補正及び補間処理を施した後にテンプレート格納部１０３に出力し、残りのフレーム画像は歪補正及び補間処理を施した後に順次位置合せ処理部１０２に出力する。テンプレート格納部１０３に格納されるのは、複数フレーム画像のうち、例えば最初のフレームから歪み補正及び補間処理を施した後の切出し画像である。
【００２２】
位置合せ処理部１０２は、テンプレート格納部１０３に格納されたテンプレート画像と、歪補正・補間処理部１０１から順次入力される切出し画像との、マッチング処理を行うことにより、位置合せ処理を行う。具体的には、位置合せ処理部１０２と位置合せ変換式算出部１０４とが協働して、パターンマッチング処理を行い、最終的に、位置合せ変換式算出部１０４にて、切出し画像間での位置合せを行うための位置合せ変換式（第２の座標変換式）Ｈｎが得られる。この位置合せ算出式Ｈｎは、画像変換式算出部１０５に送出される。ここで、Ｈｎは第ｎ番目のフレームから切り出した切出し画像に対する位置合せ変換式（第２の座標変換式）を表す。本実施の形態の場合、Ｈｎは変換行列である。
【００２３】
画像変換式算出部１０５は、歪補正変換式算出部１２３から各フレーム画像の歪補正変換式Ｃｎを入力すると共に、位置合せ変換式算出部１０４から各切出し画像の位置合せ変換式Ｈｎを入力し、各フレーム画像に関する、歪補正変換式Ｃｎと位置合せ変換式Ｈｎとを統合し、それを統合された座標変換式として画素座標変換部１１１に送出する。
【００２４】
画素座標変換部１１１は、複数フレーム分の画像Ｓ１を入力すると共に、歪補正変換式（第１の座標変換式）と位置合せ変換式（第２の座標変換式）とが統合された変換式を画像変換式算出部１０５から入力する。そして、画素座標変換部１１１は、各フレーム画像に対応する画像変換式を用いて、各切出し領域の画素座標を変換する。
【００２５】
これにより、画素座標変換部１１１は、補間処理が行われる前の、各フレーム画像に対して、切出し領域に対応する画像変換式（第１及び第２の座標変換式）を用いて、画素座標の再配置を行う。この結果、画素座標が再配置された、つまり、歪みが補正されかつ位置合せがなされた、複数フレーム分の切出し画像が得られる。この複数フレーム分の再配置された切出し画像は、補間処理が行われていないので、折り返し高周波成分が失われていない。
【００２６】
画像合成部１１２は、画素座標変換部１１１により得られた複数フレーム分の切出し画像を合成する。これにより、解像度が向上された合成画像（超解像画像）が得られる。
【００２７】
画像補間部１１３は、合成画像に対して補間処理を行う。ここで、画像合成部１１２で合成される各切出し画像の画素位置は、歪みの度合いなどに応じてバラバラなので（小数点以下の画素精度で配置されるので）、合成画像の画素位置も規定の位置にあるとは限らない。そこで、画像補間部１１３は、規定の位置の画素を補間により生成する。
【００２８】
［２］切出し領域決定部での処理
次に、切出し領域決定部１２１での領域切出について説明する。本実施の形態では、図４に示すように、＜方式１＞、＜方式２＞、＜方式３＞の３つの領域切出の方式を提示する。
【００２９】
＜方式１＞
この方式は、複数フレーム＃１〜＃ｎで同一の切出領域を設定する方式である。この方式は、人間等のターゲットの移動速度はあまり大きくなく、隣接する複数フレームでは、ターゲットは同一の切出領域内に収まっているであろうという仮定に基づく。なお、この方式での切出領域は、後述する＜方式２＞及び＜方式３＞の切出領域よりも広く設定される。
【００３０】
＜方式２＞
この方式は、ターゲットトラッキング方式と呼ぶことができるものである。この方式は、ターゲットをフレーム毎にトラッキングし、ターゲットの移動に応じて各クレーム＃１〜＃ｎでの切出領域を変更するものである。
【００３１】
＜方式３＞
この方式は、フレーム間マッチング方式と呼ぶことができるものである。この方式は、隣接フレームの切出領域は同一としつつ、マッチング結果に応じて切出領域を変更するものである。例えば、フレーム＃１と＃２では同一の切出領域を設定し、フレーム＃２と＃３では同一の切出領域を設定する。ここで、フレーム＃２と＃３の切出領域は、フレーム＃１と＃２の切出領域の画像と、テンプレート画像と、のマッチング結果に応じて、被写体（人物）が切出領域のほぼ中央に位置するように設定される。
【００３２】
［３］歪補正、補間、位置合せ、画素の再配置、及び、合成の処理イメージ
次に、図５及び図６を用いて、映像信号処理装置１００によって行われる処理イメージを説明する。図５は、歪補正及び位置合せ処理のイメージを示し、図６は、画素の再配置及び合成処理のイメージを示す。
【００３３】
先ず、図５を用いて、歪補正・補間処理部１０１で行われる歪補正と、位置合せ処理部１０２で行われる位置合せ処理と、について説明する。先ず、図５Ａに示すように、切出し領域決定部１２１によって、各フレーム＃０，＃１，＃２，…の切出し領域Ｐ０，Ｐ１，…が決定される。次に、歪補正・補間処理部１０１によって、各フレーム＃０，＃１，＃２，…の切出し領域Ｐ０，Ｐ１，…に対して、歪補正及び補間処理が施されることにより、図５Ｂに示す位置合せ用の画像Ｐ０−１，Ｐ１−１，…が形成される。
【００３４】
図５Ｂに示すように、フレーム＃０の切出し領域Ｐ０に歪補正及び補間処理が施された画像Ｐ０−１はテンプレート画像とされ、フレーム＃１，＃２，………の切出し領域Ｐ１，…に歪補正及び補間処理が施された画像Ｐ１−１，…は位置合せのための切出し画像Ｐ１−１，…とされる。
【００３５】
ここで、各フレーム＃０，＃１，＃２，…の切出し領域Ｐ０，Ｐ１，…に対する歪補正変換式をそれぞれ、Ｃ０，Ｃ１，Ｃ２，…と表し、歪補正前の画素の座標を（Ｘ０，Ｙ０）と表し、歪補正後の画素の座標を（ｘ，ｙ）と表すと、第ｎフレームの切出し領域Ｐｎに対する歪補正は、次の非線形演算式で表すことができる。
【００３６】
【数１】
なお、式（１）において、Ｃｎｘは第ｎフレームの切出し領域Ｐｎのｘ成分に関する歪変換式を表し、Ｃｎｙは第ｎフレームの切出し領域Ｐｎのｙ成分に関する歪変換式を表す。
【００３７】
次に、テンプレート画像Ｐ０−１を基準として、このテンプレート画像Ｐ０−１に対する各切出し画像Ｐ１−１，…の位置合せが行われる。つまり、各切出し画像Ｐ１−１，…をテンプレート画像Ｐ０−１に位置合せするための位置合せ変換式が算出される。
【００３８】
ここで、各フレーム＃１，＃２，…の歪補正及び補間処理後の切出し画像Ｐ１−１，Ｐ２−１，…に対する位置合せ変換式（変換行列）をそれぞれ、Ｈ１，Ｈ２，…と表し、位置合せ前の画素の座標を（ｘ，ｙ）と表し、位置合せ後の画素の座標を（ｘ’，ｙ’）と表すと、第ｎフレームの切出し画像Ｐｎ−１に対する位置合せ変換は、次の線形演算式で表すことができる。
【００３９】
【数２】
図５Ｃに示すように、式（２）の線形演算式を用いることで、切出し画像Ｐ１−１が、テンプレート画像Ｐ０−１と位置合せされた切出し画像Ｐ１−２とされる。
【００４０】
次に、図６を用いて、画素座標変換部１１１で行われる画素座標変換処理、及び、画像合成部１１２と画像補間部１１３とで行われる合成補間処理について説明する。
【００４１】
画素座標変換部１１１は、図６Ａに示すような、入力された各フレーム＃０，＃１，＃２，…の切出し領域Ｐ０，Ｐ１，Ｐ２，…に対して、画像変換式（式（１）と式（２）とを統合した式）を用いた画素再配置を行うことで、図６Ｂに示すような、再配置後の切出し画像Ｐ０−３，Ｐ１−３，Ｐ２−３，…を得る。
【００４２】
次に、画像合成部１１２によって再配置後の切出し画像Ｐ０−３，Ｐ１−３，Ｐ２−３，…を１枚の画像に合成し、画像補間部１１３によって合成画像を補間することで、図６Ｃに示すような、超解像画像Ｐｘが得られる。
【００４３】
［４］動作
次に、本実施の形態の映像信号処理装置１００の動作を、フローチャートを用いて説明する。
【００４４】
図７に、テンプレート画像に関する処理手順（テンプレート処理手順）を示す。
【００４５】
映像信号処理装置１００は、ステップＳＴ１０でテンプレート処理を開始すると、ステップＳＴ１１でテンプレート画像が含まれる入力画像Ｓ１を入力する。ステップＳＴ１２では、切出し領域決定部１２１が切出し領域を決定する。ステップＳＴ１３では、歪補正変換式算出部１２３がテンプレート画像の歪補正変換式を算出する。ステップＳＴ１４では、歪補正・補間処理部１０１がテンプレート画像に対して歪補正及び補間処理を施す。ステップＳＴ１５では、歪補正及び補間処理後のテンプレート画像がテンプレート格納部１０３に格納される。ステップＳＴ１６では、画像変換式算出部１０５がテンプレート画像の画像変換式を算出する。なお、テンプレート画像の画像変換式は、位置合せ変換式が無く、歪補正変換式のみで構成される。ステップＳＴ１７では、画素座標変換部１１１によって、テンプレート画像に対して画像変換式を用いた画素座標変換（画素の再配置）が行われる。そして、続くステップＳＴ１８でテンプレート処理を終了する。
【００４６】
図８に、テンプレート画像以外の切出し画像に関する処理手順（非テンプレート処理手順）を示す。
【００４７】
映像信号処理装置１００は、ステップＳＴ２０で非テンプレート処理を開始すると、先ず、ステップＳＴ２１でフレーム画像を入力する。ステップＳＴ２２では、切出し領域決定部１２１が切出し領域を決定する。ステップＳＴ２３では、歪補正変換式算出部１２３が各切出し領域の歪補正変換式を算出する。ステップＳＴ２４では、歪補正・補間処理部１０１が各切出し領域に対して、歪補正変換式を用いた歪補正と、補間処理と、を施す。ステップＳＴ２５では、位置合わせ処理部１０２が、歪補正及び補間処理が施された各切出し画像と、テンプレート画像と、の位置合わせを行う。ステップＳＴ２６では、位置合わせが成功したか否か判断し、位置合わせが成功した場合には（ステップＳＴ２６；Ｙｅｓ）、ステップＳＴ２７に移る。ステップＳＴ２７では、位置合わせ変換式算出部１０４が、最終的な位置合せ変換式を算出する。
【００４８】
なお、ステップＳＴ２６で位置合せが成功しない場合、このことは、切出し画像内にはテンプレート画像とマッチングがとれるターゲットは存在しないことを意味するので（例えばテンプレート画像中のターゲットに対して切出し画像中のターゲットの内容が大きく変化しており、パターンマッチングができない状態である）、位置合せを諦めてステップＳＴ３０に移る。
【００４９】
ステップＳＴ２８では、画像変換式算出部１０５が、歪補正変換式と位置合せ変換式とを統合した画像変換式を算出する。ステップＳＴ２９では、画素座標変換部１１１が、各入力画像に対して、統合された画像変換式を用いた画素座標変換を行う。これにより、画素座標が再配置された切出し画像を得る。ステップＳＴ３０では、現在の処理対象が最終フレームであるか否か判断し、最終フレームの場合には（ステップＳＴ３０；Ｙｅｓ）ステップＳＴ３１に移り、最終フレームでない場合には（ステップＳＴ３０；Ｎｏ）ステップＳＴ２１に戻る。このように、予め決められた最終フレームになるまで、各フレームの切出し画像に対して順次、ステップＳＴ２１−ＳＴ３０の処理が繰り返される。
【００５０】
映像信号処理装置１００は、最初のフレームから最終フレームまでの複数フレーム分の画素座標変換された切出し画像が形成されると、ステップＳＴ３１に移る。ステップＳＴ３１では、画像合成部１１２が、画素座標変換された複数フレーム分の切出し画像を合成し、画像補間部１１３が、合成後の画像に対して補間処理を施す。そして、ステップＳＴ３２で非テンプレート処理を終了する。
【００５１】
［５］効果
以上説明したように、本実施の形態によれば、各フレーム画像の切出し領域の非線形歪みを補正するための歪補正変換式（第１の座標変換式）をフレーム毎に得る歪補正変換式算出部１２３と、各切出し領域に対して歪補正及び補間処理を行う歪補正・補間処理部１０１と、歪補正及び補間処理後の各切出し画像間での位置合せを行うための位置合せ変換式（第２の座標変換式）を得る位置合せ変換式算出部１０４と、補間処理が行われる前の、各フレーム画像に対して、切出し領域に対応する歪補正変換式及び位置合せ変換式を用いて、画素座標の再配置を行う画素座標変換部１１１と、画素座標変換部１１１により得られた複数フレーム分の再配置された切出し画像を合成する画像合成部１１２と、を有する。
【００５２】
これにより、実際の合成時には、補間処理を行う前の、元画像の画素値を直接用いるので、合成に用いられる位置合せされた複数の切出し画像は、折り返し高周波成分が失われていない。この結果、高周波成分が残った合成画像（超解像画像）が得られ、高い超解像効果を得ることができる。
【００５３】
図９は、本発明の特徴的な処理の流れを示したものである。一方、図１０は、一般的な超解像処理のイメージを示したものである。
【００５４】
図１０に示す一般的な超解像処理においては、歪補正、補間及び位置合せ処理された画像を合成する。これに対して、図９に示す本発明の超解像処理においては、歪補正、補間及び位置合せ処理は座標変換式を求めるために行われ、実際の超解像画像は座標変換式を用いた座標変換（画素の再配置）及び合成により、元の画像の画素値を直接用いて（すなわち補間処理した画素を用いずに）行われる。この結果、本発明では、高周波成分が残った合成画像（超解像画像）が得られる。
【００５５】
なお、上述の実施の形態の映像信号処理装置１００は、メモリ・ＣＰＵを含むパソコン等のコンピュータによって構成することができる。そして、映像信号処理装置１００を構成する各構成要素の機能は、メモリ上に記憶されたコンピュータプログラムをＣＰＵが読み出して実行処理することで実現できる。
【産業上の利用可能性】
【００５６】
本発明は、例えば全周囲カメラのように特殊な光学系を有するカメラで撮像された非線形歪みのある撮像画像に対して超解像処理を行う映像信号処理装置及び方法に好適である。
【符号の説明】
【００５７】
１００ 映像信号処理装置
１０１ 歪補正・補間処理部
１０２ 位置合せ処理部
１０３ テンプレート格納部
１０４ 位置合せ変換式算出部
１０５ 画像変換式算出部
１１１ 画素座標変換部
１１２ 画像合成部
１１３ 画像補間部
１２１ 切出し領域決定部
１２２ 射影方式格納部
１２３ 歪補正変換式算出部
Ｓ１ 入力画像
Ｃｎ 歪補正変換式
Ｈｎ 位置合せ変換式
【特許請求の範囲】
【請求項１】
切出し位置に応じて非線形歪みが異なるフレーム画像を、複数枚用いて、超解像画像を得る映像信号処理装置であって、
各フレーム画像の切出し領域の非線形歪みを補正するための第１の座標変換式を各フレーム毎に得る第１の座標変換式算出部と、
前記各切出し領域に対して、前記各切出し領域に対応する前記第１の座標変換式を用いて歪補正を行うと共に、歪補正後の各切出し画像に対して、補間処理を行う、歪補正・補間処理部と、
前記歪補正及び補間処理後の各切出し画像を用い、各切出し画像間でのマッチング結果を基に、切出し画像間での位置合せを行うための第２の座標変換式を得る第２の座標変換式算出部と、
前記補間処理が行われる前の、前記各フレーム画像に対して、各切出し領域に対応する前記第１及び第２の座標変換式を用いて、画素座標の再配置を行う画素座標変換部と、
前記画素座標変換部により得られた複数フレーム分の再配置された切出し画像を合成する合成部と、
を具備する映像信号処理装置。
【請求項２】
前記合成部により得られた合成画像に対して補間処理を施す補間処理部を、さらに具備する、
請求項１に記載の映像信号処理装置。
【請求項３】
非線形歪みのある画像を撮影するカメラと、
撮影された画像を処理する請求項１または２記載の映像信号処理装置と、
を有するカメラシステム。
【請求項４】
切出し位置に応じて非線形歪みが異なるフレーム画像を、複数枚用いて、超解像画像を得る映像信号処理方法であって、
各フレーム画像の切出し領域の非線形歪みを補正するための第１の座標変換式を各フレーム毎に得る第１の座標変換式算出ステップと、
前記各切出し領域に対して、前記各切出し領域に対応する前記第１の座標変換式を用いて歪補正を行うと共に、歪補正後の各切出し画像に対して、補間処理を行う、歪補正・補間処理ステップと、
前記歪補正及び補間処理後の各切出し画像を用い、各切出し画像間でのマッチング結果を基に、切出し画像間での位置合せを行うための第２の座標変換式を得る第２の座標変換式算出ステップと、
前記補間処理が行われる前の、前記各フレーム画像に対して、各切出し領域に対応する前記第１及び第２の座標変換式を用いて、画素座標の再配置を行う画素座標変換ステップと、
前記画素座標変換ステップで得られた複数フレーム分の再配置された切出し画像を合成する合成ステップと、
を含む映像信号処理方法。
【請求項１】
切出し位置に応じて非線形歪みが異なるフレーム画像を、複数枚用いて、超解像画像を得る映像信号処理装置であって、
各フレーム画像の切出し領域の非線形歪みを補正するための第１の座標変換式を各フレーム毎に得る第１の座標変換式算出部と、
前記各切出し領域に対して、前記各切出し領域に対応する前記第１の座標変換式を用いて歪補正を行うと共に、歪補正後の各切出し画像に対して、補間処理を行う、歪補正・補間処理部と、
前記歪補正及び補間処理後の各切出し画像を用い、各切出し画像間でのマッチング結果を基に、切出し画像間での位置合せを行うための第２の座標変換式を得る第２の座標変換式算出部と、
前記補間処理が行われる前の、前記各フレーム画像に対して、各切出し領域に対応する前記第１及び第２の座標変換式を用いて、画素座標の再配置を行う画素座標変換部と、
前記画素座標変換部により得られた複数フレーム分の再配置された切出し画像を合成する合成部と、
を具備する映像信号処理装置。
【請求項２】
前記合成部により得られた合成画像に対して補間処理を施す補間処理部を、さらに具備する、
請求項１に記載の映像信号処理装置。
【請求項３】
非線形歪みのある画像を撮影するカメラと、
撮影された画像を処理する請求項１または２記載の映像信号処理装置と、
を有するカメラシステム。
【請求項４】
切出し位置に応じて非線形歪みが異なるフレーム画像を、複数枚用いて、超解像画像を得る映像信号処理方法であって、
各フレーム画像の切出し領域の非線形歪みを補正するための第１の座標変換式を各フレーム毎に得る第１の座標変換式算出ステップと、
前記各切出し領域に対して、前記各切出し領域に対応する前記第１の座標変換式を用いて歪補正を行うと共に、歪補正後の各切出し画像に対して、補間処理を行う、歪補正・補間処理ステップと、
前記歪補正及び補間処理後の各切出し画像を用い、各切出し画像間でのマッチング結果を基に、切出し画像間での位置合せを行うための第２の座標変換式を得る第２の座標変換式算出ステップと、
前記補間処理が行われる前の、前記各フレーム画像に対して、各切出し領域に対応する前記第１及び第２の座標変換式を用いて、画素座標の再配置を行う画素座標変換ステップと、
前記画素座標変換ステップで得られた複数フレーム分の再配置された切出し画像を合成する合成ステップと、
を含む映像信号処理方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【公開番号】特開２０１２−１３８７７１（Ｐ２０１２−１３８７７１Ａ）
【公開日】平成２４年７月１９日（２０１２．７．１９）
【国際特許分類】
【出願番号】特願２０１０−２８９９１１（Ｐ２０１０−２８９９１１）
【出願日】平成２２年１２月２７日（２０１０．１２．２７）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２４年７月１９日（２０１２．７．１９）
【国際特許分類】
【出願日】平成２２年１２月２７日（２０１０．１２．２７）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]