画像処理装置及び画像処理方法
【課題】広角カメラ特有のカメラ特性を考慮した、高画質及び高効率の画像圧縮を行うこと。
【解決手段】画像処理装置１００は、カメラ部１１によって得られた撮像画像を複数の領域に分割する領域分割部１０１と、領域分割部１０１によって分割された各領域画像を、撮像画像の所定の点から各領域画像までの距離ｌ及びカメラ部１１から各領域に含まれるターゲットまでの距離ｄに応じて圧縮率を変化させて圧縮する画像圧縮部１０５とを有する。例えば、画像圧縮部１０５が光軸からの角度が大きな領域画像ほど大きな圧縮率で圧縮することにより、低品質の領域のデータ量が大幅に減らされ、高品質の領域の品質を維持した圧縮が行われる。
【解決手段】画像処理装置１００は、カメラ部１１によって得られた撮像画像を複数の領域に分割する領域分割部１０１と、領域分割部１０１によって分割された各領域画像を、撮像画像の所定の点から各領域画像までの距離ｌ及びカメラ部１１から各領域に含まれるターゲットまでの距離ｄに応じて圧縮率を変化させて圧縮する画像圧縮部１０５とを有する。例えば、画像圧縮部１０５が光軸からの角度が大きな領域画像ほど大きな圧縮率で圧縮することにより、低品質の領域のデータ量が大幅に減らされ、高品質の領域の品質を維持した圧縮が行われる。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理方法に関し、全方位カメラ等の広角カメラにより得られた画像を圧縮する技術に関する。
【背景技術】
【０００２】
全方位カメラは、１台のカメラで広い視野範囲の画像を得ることができるため、種々の分野で広く用いられている。全方位カメラは、例えば監視システム等に用いられている。全方位カメラは、全方位レンズ光学系や全方位ミラー光学系を用いることで、全方位画像を得ることができるようになっている。
【０００３】
ところで、全方位画像を高解像度で取得した場合は、情報量が多くなるので、画像を圧縮してから、伝送路に送出したり、記録媒体に記録することが多い。
【０００４】
全方位画像のデータ量を削減する技術が、特許文献１、２で開示されている。特許文献１、２には、全方位カメラにより得られた円形画像を含む四角形の画像のうち、円形画像以外の画像の色数を減らしたり、圧縮率を高くすることで、全方位画像のデータ量を削減する技術が開示されている。
【０００５】
また、特許文献３には、撮影場所や撮影対象に応じて圧縮率を変えることで、画像データ量を削減する技術が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００７−３１８５９６号公報
【特許文献２】特開２００７−３１８５９７号公報
【特許文献３】特許第３５７３６５３号公報
【非特許文献】
【０００７】
【非特許文献１】"A Versatile Camera Calibration Technique for High-Accuracy 3D Machine Vision Metrology Using Off-the-Shelf TV Cameras and Lenses", Roger Y,Tsaim IEEE Journal of Robotics and Automation, Vol. RA-3,No.4, August 1987,pp327 式(5a）
【発明の概要】
【発明が解決しようとする課題】
【０００８】
ところで、従来提案されている画像データの圧縮方法は、広角カメラの特性を十分に考慮してデータ圧縮を行っているとは言えない。その結果、広角カメラのカメラ特性を考慮した、高画質及び高効率の画像圧縮を行う点で未だ不十分であった。
【０００９】
本発明はかかる点に鑑みてなされたものであり、広角カメラ特有のカメラ特性を考慮した、高画質及び高効率の画像圧縮を行うことができる画像処理装置及び画像処理方法を提供する。
【課題を解決するための手段】
【００１０】
本発明の画像処理装置の一つの態様は、撮像手段によって得られた撮像画像を、複数の領域に分割する領域分割部と、前記領域分割部によって分割された各領域画像を、前記撮像手段が前記撮像画像を取得する際の歪の程度に応じて圧縮率を変化させて圧縮する画像圧縮部と、を具備する。
【００１１】
本発明の画像処理装置の一つの態様は、カメラによって得られた撮像画像を、複数の領域に分割する領域分割部と、前記領域分割部によって分割された各領域画像を、前記撮像画像の所定の点から各領域画像までの長さに応じて圧縮率を変化させて圧縮する画像圧縮部と、を具備する。
【発明の効果】
【００１２】
本発明によれば、全方位カメラ等の広角カメラ特有のカメラ特性を利用した圧縮処理を行うので、画質と圧縮率とを両立させた画像圧縮を行うことができる。
【図面の簡単な説明】
【００１３】
【図１】全方位カメラによってターゲットを撮像している様子を示す図
【図２】全方位カメラによって撮像された全方位画像を示す図
【図３】光軸からの角度と撮像画像との関係を示す図であり、図３Ａは実空間上で角度θに存在する物体が光学系を介して撮像面上のどの位置で撮像されるかを示す図、図３Ｂは撮像画像を示す図
【図４】ターゲットまでの距離に応じて撮像画像のサイズが異なることを示す図
【図５】３次元空間上の圧縮率の等高線を示す図
【図６】３次元空間上の圧縮率の等高線を示す図
【図７】３次元空間上の圧縮率の等高線を示す図
【図８】３次元空間上の圧縮率の等高線を示す図
【図９】圧縮率の計算に用いるα値の一例を示す図
【図１０】圧縮率の具体例を示す図
【図１１】実施の形態１の構成を示すブロック図
【図１２】距離ｄに応じた領域分割の例を示す図
【図１３】実施の形態２の構成を示すブロック図
【図１４】フレーム間差分処理によって動物体を検出する様子を示す図
【図１５】背景差分処理によって動物体を検出する様子を示す図
【図１６】撮像画像から人物、車を分類して検出した様子を示す図
【図１７】特定物体を種類に応じて分類して検出するための処理例を示す図
【発明を実施するための形態】
【００１４】
［１］原理
先ず、本発明の実施の形態を説明する前に、実施の形態の原理について説明する。
【００１５】
本発明の発明者らは、全方位カメラ等の広角カメラによって得られた画像においては、画像領域に応じて画像の品質が大きく異なることに着目した。特に、全方位カメラによって得られた全方位画像は、画像領域に応じて画像の品質が顕著に異なる。
【００１６】
先ず、発明者らは、全方位カメラのカメラ特性に起因して、撮像画像に次の特性が現れることに着目した。
【００１７】
・カメラの光軸方向付近の撮像画像は、歪みが小さく、収差が小さく、解像度が高い。逆の表現をすると、カメラの光軸方向から離れた方向ほど、撮像画像は、歪みが大きく、収差が大きく、解像度が低くなる。
・カメラから距離の離れた対象ほど、撮像画像の解像度が低くなる。
【００１８】
ここで、全方位カメラの光軸方向とは、全方位カメラの正面方向又は中心方向といってもよい。
【００１９】
なお、上記「カメラの光軸方向付近の撮像画像は、歪みが小さく、収差が小さく、解像度が高い」といった特性は、全方位（広角）カメラ以外の狭角のカメラ（以下、このようなカメラを通常のカメラと呼ぶ）にも現れる特性であるが、特に全方位カメラのような超広角カメラにおいて顕著に現れる特性である。また、上記「カメラから距離の離れた対象ほど、撮像画像の解像度が低くなる」といった特性も、通常のカメラにも現れる特性であるが、通常のカメラよりも全方位カメラのような超広角カメラにおいて顕著に現れる特性である。
【００２０】
本発明では、上記全方位（広角）カメラの特性を利用して、撮像画像をカメラの光軸からの角度に応じて複数の領域に分割し、分割したされた各領域画像を、光軸からの各領域画像までの角度に応じて圧縮率を変化させて圧縮する。この処理は、撮像画像のみに着目した場合、カメラによって得られた撮像画像を複数の領域に分割し、分割された各領域画像を、撮像画像の所定の点から各領域画像までの長さに応じて圧縮率を変化させて圧縮する、と言うことができる。また、本発明では、カメラから各領域画像に含まれるターゲットまでの距離に応じて、圧縮率を変化させる。
【００２１】
本発明では、上記角度・距離に応じた圧縮率の変化のさせ方として、
第１の圧縮方法：「低品質の領域のデータ量を大幅に減らし、高品質の領域の品質を維持する」方法
第２の圧縮方法：「全領域で平均的な解像度の画像を得る」方法
の２つの圧縮方法を提示する。
【００２２】
以下、第１及び第２の圧縮方法について、個別に説明する。
【００２３】
［１−２］第１の圧縮方法：「低品質の領域のデータ量を大幅に減らし、高品質の領域の品質を維持する」方法
この圧縮方法は、次の(i)〜(iii)の規則に従って圧縮率を変化させる。
【００２４】
(i)光軸からの角度が大きな角度で得られた領域画像ほど大きな圧縮率で圧縮する。
(ii)カメラから距離の離れた対象の画像ほど大きな圧縮率で圧縮する。
(iii)光軸付近で得られた画像は大きな圧縮率で圧縮する。
【００２５】
(i)の処理を行うことにより、そもそも歪み等のためにあまり画像品質が良くなく、情報を削減しても表示時に画質劣化が目立たない、カメラ光軸から離れた角度で得られた画像ほど、圧縮率を大きくするので、実質的な画質劣化を抑制しつつ、画像データを大幅に削減できる。また、光軸からの角度といった単純なパラメータによって圧縮率を変えるので、複雑な画像処理を行うことなしに、圧縮率を変えることができる。
【００２６】
同様に、(ii)の処理を行うことにより、そもそも低解像度等のためにあまり画像品質が良くなく、情報を削減しても表示時に画質劣化が目立たない又は人物識別等に利用できない、カメラから遠いターゲットほど、圧縮率を大きくするので、実質的な有意領域の画質劣化を抑制しつつ、画像データを大幅に削減できる。
【００２７】
ここで、(iii)の処理を行う理由について説明する。全方位カメラは、天井や柱に、地表方向に向けて設置されることが多く、このような場合、カメラの光軸方向に存在する人物の撮像画像は、頭部のみが写ったものとなっている可能性が高い。発明者らは、頭部のみが写った画像は有意性が低いので、その領域の画像は圧縮率を大きくして画質が劣化してもよいと考えた。発明者らは、このような検討から、(iii)の処理を行えば、有意領域でない画像の符号量を大きく削減でき、全体としての符号量を削減できると考えた。
【００２８】
ところで、有意画像ほど圧縮率を小さくする技術としては、従来、ＲＯＩ（Region of Interest）符号化がある。ＲＯＩ符号化は、画像の注目領域（つまり、ＲＯＩ）を他の領域とは異なる画質で符号化する技術である。具体的には、注目領域ほど圧縮率を小さくすることで、注目領域の画質劣化を抑制する。但し、ＲＯＩ符号化では、どの領域を注目領域とするかによって有意画像の劣化の程度が異なるので、どの領域を注目領域に設定するかが重要となる。的確な注目領域の設定するためには、一般に、パターン認識等の画像処理が必要になるので、演算量が増大する。
【００２９】
これに対して、(iii)では、全方位（広角）画像の特徴を有効に利用して有意性を決めているので、大きな演算量の増加を伴わずに、的確に全方位画像の有意領域を設定できる。この結果、比較的小さな演算規模で、高品質及び高圧縮率の圧縮画像データを得ることができる。
【００３０】
ここで、上記(i)〜(iii)の処理は、適宜組み合わせて用いることができる。例えば、上記(i)〜(iii)の処理を全て用いてもよく、上記(ii)、(iii)の処理を行わずに上記(i)の処理のみを行ってもよい。また、上記(iii)の処理を行わずに、上記(i)、(ii)の処理を行ってもよい。また、上記(ii)の処理を行わずに、上記(i)、(iii)の処理を行ってもよい。
【００３１】
なお、上記(i)と(iii)の処理を組み合わせて行う場合には、例えば、光軸からの角度が５°未満の角度で得られた画像は大きな圧縮率で圧縮し（(iii)の処理を行う）、光軸からの角度が５°以上の角度で得られた画像は光軸からの角度が大きくなるほど大きな圧縮率で圧縮すればよい（(i)の処理を行う）。
【００３２】
［１−３］第２の圧縮方法：「全領域で平均的な解像度の画像を得る」方法
この圧縮方法は、次の(iv)、(v)の規則に従って圧縮率を変化させる。
(iv)光軸からの角度が大きな角度で得られた領域画像ほど小さな圧縮率で圧縮する。
(v)カメラから距離の離れた対象の画像ほど小さな圧縮率で圧縮する。
【００３３】
(iv)の処理を行うことにより、そもそも歪み等のためにあまり画像品質が良くない画像ほど、圧縮によるさらなる劣化を抑制でき、結果として、全領域で均一（平均的）な品質の画像を得ることができる。また、光軸からの角度といった単純なパラメータによって圧縮率を変えるので、複雑な画像処理を行うことなしに、圧縮率を変えることができる。
【００３４】
同様に、(v)の処理を行うことにより、そもそも低解像度等のためにあまり画像品質が良くない画像ほど、圧縮によるさらなる劣化を抑制でき、結果として、全領域で均一（平均的）な品質の画像を得ることができる。
【００３５】
ここで、上記(iv)、(v)の処理は、組み合わせて用いてもよいし、(v)の処理を行わずに上記(iv)の処理のみを行ってもよい。
【００３６】
［１−４］処理イメージ
次に、図１〜図１０を用いて、本発明の処理イメージを説明する。
【００３７】
図１は、全方位カメラ１０がターゲットＴ１〜Ｔ６を撮像している様子を示すものである。なお、図の例の場合、ターゲットは人物であるが、ターゲットは人物に限らない。図１の例では、全方位カメラ１０は、天井や柱に、地表方向に向けて設置されている。図中、Ｃ０は全方位カメラの光軸である。図１は、全方位カメラ１０による撮像の様子を、地表と平行な方向から見たものである。
【００３８】
図２は、全方位カメラ１０によって撮像された全方位画像１を示すものである。
【００３９】
図１及び図２において、ターゲットＴ１、Ｔ２は光軸Ｃ０から角度θ１の位置に存在し、ターゲットＴ３、Ｔ４は角度θ２の位置に存在し、ターゲットＴ５、Ｔ６は角度θ３の位置に存在する。ここで、θ１、θ２、θ３は、θ１＞θ２＞θ３の関係にある。また、ターゲットＴ１、Ｔ３、Ｔ５は全方位カメラ１０から距離ｄ１の位置に存在し、ターゲットＴ２、Ｔ４、Ｔ６は全方位カメラ１０から距離ｄ２の位置に存在する。ここで、ｄ１、ｄ２は、ｄ１＜ｄ２の関係にある。
【００４０】
図３は、光軸Ｃ０からの角度θと、撮像画像との関係を示す図である。図３Ａは、実空間上で角度θに存在する物体が光学系２を介して撮像面上のどの位置で撮像されるかを示す図である。ここで、撮像面上における光軸Ｃ０に対応する点をＰ０とすると、物体Ｔに対応する撮像面上の点は点Ｐ０から距離ｌの点となる。なお、点Ｐ０は、全方位画像においては、撮像画像の中心の点となる。
【００４１】
点Ｐ０から、物体Ｔ１と光学系２の光学中心とを結ぶ直線の延長線と、撮像面との交点までの距離は、ｆ×tanθで表される。ｆはカメラの焦点距離を示す。距離ｌと、ｆ×tanθとの関係は、レンズの歪を表す係数κ１、κ２などを用いて、次式により表される。
ｆ×tanθ ＝ ｌ＋ｌ×(κ１×ｌ2＋κ２×ｌ４＋、、、）
＝ ｌ×（ｌ＋ κ１×ｌ2＋κ２×ｌ４＋、、、) ………（１）
【００４２】
上記式（１）については、例えば非特許文献１に記載されている。
【００４３】
このように、焦点距離ｆと係数κ１、κ２等を用いて、角度θと距離ｌとの関係は一意に定まる。よって、角度θに応じた圧縮率を設定すれば、その圧縮率から距離ｌに応じた圧縮率は容易に求めることができる。つまり、図３Ｂに示すように、全方位画像１上において、光軸Ｃ０に対応する点Ｐ０から距離ｌの物体Ｔの圧縮率は、距離ｌの値に応じて設定すればよくなる。但し、実空間上でのカメラから各ターゲットＴ１〜Ｔ６までの距離ｄは全方位画像１から求めることは困難なので、距離計測手段を用いて求める。距離ｄの求め方は、後述する。
【００４４】
図４は、ターゲットまでの距離ｄに応じて同じ物体を撮影したときの撮像画像のサイズ（解像度といってもよい）が異なることを示すものである。カメラの撮像面からターゲットまでの距離ｄが大きいほど撮像画像サイズは小さくなる。例えば、ターゲットＴ３までの距離ｄ１が５［ｍ］、ターゲットＴ４までの距離ｄ２が１０［ｍ］の場合には、ターゲットＴ３は１０ピクセルの画像となり、ターゲットＴ４は５ピクセルの画像となるので、ターゲットＴ３の解像度はターゲットＴ４の解像度の２倍となる。
【００４５】
［１−４−１］第１の圧縮方法（「低品質の領域のデータ量を大幅に減らし、高品質の領域の品質を維持する」方法）を用いる場合の処理イメージ
【００４６】
図２において、ターゲットＴ１、Ｔ２を含む分割領域Ａ１、Ａ２は光軸Ｃ０からの角度θ１が大きく歪みが大きいので高圧縮率で圧縮される。ターゲットＴ３、Ｔ４を含む分割領域Ａ３、Ａ４は、光軸Ｃ０からの角度θ２が角度θ１よりも小さく、歪みが小さいので、ターゲットＴ１、Ｔ２よりも低圧縮率で圧縮される。ターゲットＴ５、Ｔ６は光軸Ｃ０付近に存在し頭のみしか写らないので、高圧縮率で圧縮される。
【００４７】
また、Ｔ１、Ｔ３、Ｔ５の全方位カメラ１０からの距離ｄ１は、Ｔ２、Ｔ４、Ｔ６の全方位カメラ１０からの距離ｄ２よりも小さい（ｄ１＜ｄ２）ので、Ｔ１、Ｔ３、Ｔ５はＴ２、Ｔ４、Ｔ６よりも低圧縮率で圧縮される。
【００４８】
なおここでは、説明を簡単化するために、図２のように、全方位画像１を、ターゲットＴ１〜Ｔ６を含む分割領域Ａ１〜Ａ６に分割して、この分割領域Ａ１〜Ａ６の圧縮率を角度θ（撮像画像においては点Ｐ０から分割領域Ａ１〜Ａ６までの長さｌ）及び距離ｄに応じた変化させる場合について説明したが、ターゲットに着目して画像を分割する場合に限らない。すなわち、全方位画像１を、角度θ（撮像画像においては点Ｐ１から分割領域Ａ１〜Ａ６までの長さ）に応じて複数の領域に分割し、分割された各領域画像を、角度θ（撮像画像においては点Ｐ１から分割領域Ａ１〜Ａ６までの長さ）に応じて圧縮率を変化させて圧縮すればよい。
【００４９】
図５は、第１の圧縮方法のうち、上記規則(i)光軸からの角度が大きな角度で得られた領域画像ほど大きな圧縮率で圧縮する、及び、上記規則(ii)カメラから距離の離れた対象の画像ほど大きな圧縮率で圧縮する、を組み合わせて用いた場合の、３次元空間上の圧縮率の等高線を示したものである。図５において、等高線Ｌ１〜Ｌ３は、等高線Ｌ１が示す圧縮率 ＜ 等高線Ｌ２が示す圧縮率 ＜ 等高線Ｌ３が示す圧縮率、の関係にある。
【００５０】
図６は、第１の圧縮方法のうち、上記規則(i)光軸からの角度が大きな角度で得られた領域画像ほど大きな圧縮率で圧縮する、及び、上記規則(ii)カメラから距離の離れた対象の画像ほど大きな圧縮率で圧縮する、及び、上記規則(iii)光軸付近（０≦θ＜ＴＨ；ＴＨは予め決められた閾値）の画像は大きな圧縮率で圧縮する、を組み合わせて用いた場合の、３次元空間上の圧縮率の等高線を示したものである。図６において、等高線Ｌ１〜Ｌ５は、等高線Ｌ１が示す圧縮率 ＜ 等高線Ｌ２が示す圧縮率 ＜ 等高線Ｌ３が示す圧縮率 ＜ 等高線Ｌ４が示す圧縮率 ＜ 等高線Ｌ５が示す圧縮率、の関係にある。なお、図６では、光軸付近（０≦θ＜ＴＨ）の画像を固定の圧縮率Ｌ５で圧縮する場合を示したが、図７に示すように、光軸付近（０≦θ＜ＴＨ）の画像の圧縮率は、他の領域の画像の圧縮率よりも相対的に大きくしつつ、角度θ（撮像画像においては点Ｐ１からの長さ）及び距離ｄに応じて変化させてもよい。
【００５１】
［１−４−２］第２の圧縮方法（「全領域で平均的な解像度の画像を得る」方法）を用いる場合の処理イメージ
【００５２】
図２において、ターゲットＴ１、Ｔ２を含む分割領域Ａ１、Ａ２は光軸Ｃ０からの角度θ１が大きく歪みが大きいので低圧縮率で圧縮される。ターゲットＴ３、Ｔ４を含む分割領域Ａ３、Ａ４は、光軸Ｃ０からの角度θ２が角度θ１よりも小さく、歪みが小さいので、ターゲットＴ１、Ｔ２よりも高圧縮率で圧縮される。
【００５３】
また、Ｔ１、Ｔ３、Ｔ５の全方位カメラ１０からの距離ｄ１は、Ｔ２、Ｔ４、Ｔ６の全方位カメラ１０からの距離ｄ２よりも小さい（ｄ１＜ｄ２）ので、Ｔ１、Ｔ３、Ｔ５はＴ２、Ｔ４、Ｔ６よりも高圧縮率で圧縮される。
【００５４】
図８は、第２の圧縮方法の上記規則(iv)光軸からの角度が大きな角度で得られた領域画像ほど小さな圧縮率で圧縮する、及び、上記規則(v)カメラから距離の離れた対象の画像ほど小さな圧縮率で圧縮する、を組み合わせて用いた場合の、３次元空間上の圧縮率の等高線を示したものである。図８において、等高線Ｌ１〜Ｌ３は、等高線Ｌ１が示す圧縮率 ＞ 等高線Ｌ２が示す圧縮率 ＞ 等高線Ｌ３が示す圧縮率、の関係にある。
【００５５】
［１−５］圧縮率の設定
次に、具体的な圧縮率の設定について説明する。
【００５６】
上記第１の圧縮方法を採用する場合の圧縮率は、式（２）又は式（３）により求めることができる。
【００５７】
圧縮率 ＝ （θ×α）×（ｄ×β） ……… （２）
圧縮率 ＝ （θ×α）＋（ｄ×β） ……… （３）
但し、０≦θ＜ＴＨの領域では、圧縮率は、他の領域よりも相対的に大きな固定値に設定する。
【００５８】
なお、角度θに乗ずる係数αは、例えば、カメラパラメータに含まれる、レンズ特性に依存する歪係数、収差、解像度等に応じて設定すればよい。また、距離ｄに乗ずる係数βは、例えば、カメラパラメータに含まれる焦点距離等に応じて設定すればよい。
【００５９】
上記第２の圧縮方法を採用する場合の圧縮率は、式（４）又は式（５）により求めることができる。
【００６０】
圧縮率 ＝ （１／θ×α）×（１／ｄ×β） ……… （４）
圧縮率 ＝ （１／θ×α）＋（１／ｄ×β） ……… （５）
【００６１】
図９に、α値の一例を示す。図９は、中心解像度（つまりθ＝０の解像度）が１９０［ＬＰ／ｍｍ］、レンズ端解像度（つまりθ＝９０°の解像度）が１００［ＬＰ／ｍｍ］のカメラを用い、上記第２の圧縮方法を採用する場合における、α値の設定の一例を示すものである。
【００６２】
図１０に、圧縮率の具体例を示す。
【００６３】
［２］実施の形態１
図１１に、本発明の実施の形態１に係る構成を示す。図１１の広角カメラ装置１１０は、カメラ部１１と、距離計測部１２と、画像処理装置１００とを有する。
【００６４】
カメラ部１１は、例えば全方位カメラである。なお、カメラ部１１は、全方位カメラに限らず、光軸からの角度θが大きくなるほど歪み等により撮像画質が悪くなるカメラであればよい。但し、カメラ部１１が全方位カメラの場合に、本発明の効果が顕著となるので、以下の説明では、カメラ部１１が全方位カメラである場合について説明する。カメラ部１１により得られた全方位画像は、画像処理装置１００の領域分割部１０１に出力される。
【００６５】
距離計測部１２は、カメラ部１１に付随して配置され、又は、カメラ部１１に内蔵されている。距離計測部１２は、撮像領域内に存在するターゲットとカメラ部１１との距離ｄを計測する。距離計測部１２としては、超音波センサ、赤外センサ等の測距センサを用いることができる。また、距離計測部１２は、ターゲットに付帯された無線タグからの信号を受信し、受信した無線信号に基づいて無線タグの位置座標を求め、この位置座標とカメラ部１１の位置座標とから距離ｄを求める構成でもよい。さらに、カメラ部１１がステレオ画像を取得できる構成となっている場合には、距離計測部１２は、ステレオ画像を用いてターゲットまでの距離を求めてもよい。距離計測部１２は、撮像空間内でターゲットを測位できるものであればどのような構成でもよい。距離計測部１２により得られた距離ｄの情報は、領域分割部１０１及び圧縮率設定部１０４に出力される。
【００６６】
領域分割部１０１は、全方位画像を複数の領域に分割する。このとき、領域分割部１０１は、図２に示したように、全方位画像１の中のターゲットＴ１〜Ｔ６を基準にして各ターゲットＴ１〜Ｔ６を含む分割領域Ａ１〜Ａ６に分割してもよく、ターゲットＴ１〜Ｔ６とは無関係に単純に複数の領域に分割してもよい。なお、距離ｄが異なる画像は異なる領域に分割する。
【００６７】
図１２に、距離ｄに応じた領域分割の例を示す。図１２では、カメラからの距離が５［ｍ］未満の領域と、５［ｍ］以上の領域とで、領域分割する例が示されている。つまり、角度θを無視した場合、ターゲットＴ１１、Ｔ１２を含む画像は、ターゲットＴ２１、Ｔ２２を含む画像とは異なる領域の画像に分割される。なお、ステレオ画像を用いて距離を計測する場合には、画素毎に距離を計測できるので、画素毎の距離情報に基づいて、近接するほぼ同一の距離の画素を集めて領域分割することができる。複数領域に分割された全方位画像は、距離算出部１０２に出力される。
【００６８】
距離算出部１０２は、撮像画像において、光軸Ｃ０に対応する点Ｐ０から各領域画像までの距離ｌを算出する。
【００６９】
圧縮率設定部１０４は、撮像画像上での上記距離ｌとカメラ部１１からターゲットまでの距離ｄとから、各領域画像の圧縮率を設定する。実際上、圧縮率設定部１０４は、距離ｌと距離ｄとに対応した圧縮率が格納されたテーブルを有し、距離ｌと距離ｄを読み出しアドレスとして、距離ｌ及び距離ｄに対応した圧縮率を出力する。なお、上述したように角度θに対応する圧縮率は、式（２）〜式（５）のいずれかを用い求めることができる。また、式（１）により角度θと距離ｌとの関係は一意に決っているので、角度θに対応する圧縮率から距離ｌに対応する圧縮率を求めることができる。圧縮率設定部１０４のテーブルには、その距離ｌに対応する圧縮率が格納されている。なお、式（２）〜式（５）における係数α、βは、上述したように、カメラパラメータ格納部１０３に格納された歪係数、収差、解像度、焦点距離等に応じて設定すればよい。また、上述したように、第１の圧縮方法を用いる場合には、０≦θ＜ＴＨの領域の圧縮率は、他の領域よりも相対的に大きな値に設定するとよい。
【００７０】
画像圧縮部１０５は、領域分割部１０１によって分割された各領域画像を、圧縮率設定部１０４によって設定された圧縮率で圧縮符号化することで、圧縮符号化データを得る。
【００７１】
画像出力部１０６は、圧縮符号化データを、伝送路や記録媒体等に出力する。伝送路を介して相手側装置に伝送された圧縮符号化データは、相手側装置によって復号されて表示される。また、記録媒体に記録された圧縮符号化データは、再生装置によって再生復号されて表示される。
【００７２】
以上の構成によれば、カメラ部１１によって得られた撮像画像を複数の領域に分割する領域分割部１０１と、領域分割部１０１によって分割された各領域画像を、撮像画像の所定の点（光軸Ｃ０に対応する点であり、全方位画像１においては撮像画像の中心点）から各領域画像までの距離ｌ及びカメラ部１１から各領域に含まれるターゲットＴ１〜Ｔ４までの距離ｄに応じて圧縮率を変化させて圧縮する画像圧縮部１０５とを設けたことにより、広角カメラのカメラ特性を考慮した、高画質及び高効率の画像圧縮を実現できる。
【００７３】
［３］実施の形態２
図１１との対応部分に同一符号を付して示す図１３に、実施の形態２の広角カメラ装置の構成を示す。広角カメラ装置２１０の画像処理装置２００は、物体検出部２０１を有する。
【００７４】
物体検出部２０１は、全方位画像から注目物体（すなわちターゲット）を検出する。物体検出部２０１は、ターゲットとして、例えば動いている物体を検出する。また、物体検出部２０１は、特定の物体を種類に応じて分類して検出してもよい。画像中に含まれる動物体の検出及び物体の分類処理は、既知の技術によって容易に実現できるが、以下簡単に説明する。
【００７５】
図１４は、フレーム間差分処理によって動物体を検出する様子を示す。図では、ｔフレームとｔ＋１フレームとの差分をとることにより、動物体である人物が検出される様子が示されている。
【００７６】
図１５は、背景差分処理によって動物体を検出する様子を示す。図では、複数フレーム（ｔ−２フレームとｔ−１フレームとｔフレーム）の画像から背景画像を得、この背景画像とｔ＋１フレームの画像の差分をとることにより、動物体である人物が検出される様子が示されている。
【００７７】
図１６は、撮像画像から人物、車を分類して検出した様子を示す。
【００７８】
図１７は、特定物体を種類に応じて分類して検出するための処理例を示す。図１７Ａに示すように、物体検出部２０１は、学習により、人物、車、２輪車等の形状を学習パターンとして保持している。そして、物体検出部２０１は、入力画像と学習パターンとのパターンマッチング処理を行うことで、入力画像に含まれる特手物体を検出する。
【００７９】
物体検出部２０１は、動物体等の特定物体の検出結果を領域分割部２０２に出力する。領域分割部２０２は、例えば図２に示すように、全方位画像を、特定物体（図２の場合には人物）を含む領域毎に分割する。
【００８０】
後段の距離算出部１０２、圧縮率設定部１０４、画像圧縮部１０５では、全画像ではなく、特定物体を含む所定画像領域に対してのみ、実施の形態１と同様の処理を行う。これにより、特定物体を含む重要領域のみが実施の形態１で示したような、広角カメラのカメラ特性を考慮した圧縮率で圧縮される。なお、特定物体を含む重要領域以外の領域は、重要領域よりも大きな圧縮率で圧縮する。
【００８１】
これにより、実施の形態１の効果に加えて、重要領域以外の圧縮率を高くするので、圧縮符号化データのデータ量を一段と削減できるようになる。
【００８２】
［４］他の実施の形態
上述の実施の形態の処理に加えて、復号側で超解像度処理を行うことを考慮した圧縮処理を行ってもよい。ここで、超解像度処理を行うためには、撮像された画像の折り返し歪み成分が必要となる。画像の高周波成分を削除してしまうような圧縮を行うと、折り返し歪み成分も失われてしまうので、超解像度処理が困難になる。これを考慮して、高周波成分は、例えばその他の成分よりも１割小さい圧縮率で圧縮符号化することにより、高周波成分が圧縮によりできるだけ失われないようにすると好ましい。
【００８３】
上述の実施の形態の画像処理装置１００、２００は、メモリ・ＣＰＵを含むパソコン等のコンピュータによって構成することができる。そして、画像処理装置１００、２００を構成する各構成要素の機能は、メモリ上に記憶されたコンピュータプログラムをＣＰＵが読み出して実行処理することで実現できる。
【産業上の利用可能性】
【００８４】
本発明は、例えば全方位カメラ等の広角カメラにより撮像された画像を圧縮するのに用いて好適である。
【符号の説明】
【００８５】
１ 全方位画像
１０ 全方位カメラ
１１ カメラ部
１２ 距離計測部
１００ 画像処理装置
１０１、２０２ 領域分割部
１０２ 距離算出部
１０３ カメラパラメータ格納部
１０４ 圧縮率設定部
１０５ 画像圧縮部
１０６ 画像出力部
１１０、２１０ 広角カメラ装置
２０１ 物体検出部
Ｔ１〜Ｔ６ ターゲット
θ１〜θ３ 角度
ｄ１、ｄ２ 距離
Ｃ０ 光軸
Ａ１〜Ａ６ 分割領域
【技術分野】
【０００１】
本発明は、画像処理装置及び画像処理方法に関し、全方位カメラ等の広角カメラにより得られた画像を圧縮する技術に関する。
【背景技術】
【０００２】
全方位カメラは、１台のカメラで広い視野範囲の画像を得ることができるため、種々の分野で広く用いられている。全方位カメラは、例えば監視システム等に用いられている。全方位カメラは、全方位レンズ光学系や全方位ミラー光学系を用いることで、全方位画像を得ることができるようになっている。
【０００３】
ところで、全方位画像を高解像度で取得した場合は、情報量が多くなるので、画像を圧縮してから、伝送路に送出したり、記録媒体に記録することが多い。
【０００４】
全方位画像のデータ量を削減する技術が、特許文献１、２で開示されている。特許文献１、２には、全方位カメラにより得られた円形画像を含む四角形の画像のうち、円形画像以外の画像の色数を減らしたり、圧縮率を高くすることで、全方位画像のデータ量を削減する技術が開示されている。
【０００５】
また、特許文献３には、撮影場所や撮影対象に応じて圧縮率を変えることで、画像データ量を削減する技術が開示されている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００７−３１８５９６号公報
【特許文献２】特開２００７−３１８５９７号公報
【特許文献３】特許第３５７３６５３号公報
【非特許文献】
【０００７】
【非特許文献１】"A Versatile Camera Calibration Technique for High-Accuracy 3D Machine Vision Metrology Using Off-the-Shelf TV Cameras and Lenses", Roger Y,Tsaim IEEE Journal of Robotics and Automation, Vol. RA-3,No.4, August 1987,pp327 式(5a）
【発明の概要】
【発明が解決しようとする課題】
【０００８】
ところで、従来提案されている画像データの圧縮方法は、広角カメラの特性を十分に考慮してデータ圧縮を行っているとは言えない。その結果、広角カメラのカメラ特性を考慮した、高画質及び高効率の画像圧縮を行う点で未だ不十分であった。
【０００９】
本発明はかかる点に鑑みてなされたものであり、広角カメラ特有のカメラ特性を考慮した、高画質及び高効率の画像圧縮を行うことができる画像処理装置及び画像処理方法を提供する。
【課題を解決するための手段】
【００１０】
本発明の画像処理装置の一つの態様は、撮像手段によって得られた撮像画像を、複数の領域に分割する領域分割部と、前記領域分割部によって分割された各領域画像を、前記撮像手段が前記撮像画像を取得する際の歪の程度に応じて圧縮率を変化させて圧縮する画像圧縮部と、を具備する。
【００１１】
本発明の画像処理装置の一つの態様は、カメラによって得られた撮像画像を、複数の領域に分割する領域分割部と、前記領域分割部によって分割された各領域画像を、前記撮像画像の所定の点から各領域画像までの長さに応じて圧縮率を変化させて圧縮する画像圧縮部と、を具備する。
【発明の効果】
【００１２】
本発明によれば、全方位カメラ等の広角カメラ特有のカメラ特性を利用した圧縮処理を行うので、画質と圧縮率とを両立させた画像圧縮を行うことができる。
【図面の簡単な説明】
【００１３】
【図１】全方位カメラによってターゲットを撮像している様子を示す図
【図２】全方位カメラによって撮像された全方位画像を示す図
【図３】光軸からの角度と撮像画像との関係を示す図であり、図３Ａは実空間上で角度θに存在する物体が光学系を介して撮像面上のどの位置で撮像されるかを示す図、図３Ｂは撮像画像を示す図
【図４】ターゲットまでの距離に応じて撮像画像のサイズが異なることを示す図
【図５】３次元空間上の圧縮率の等高線を示す図
【図６】３次元空間上の圧縮率の等高線を示す図
【図７】３次元空間上の圧縮率の等高線を示す図
【図８】３次元空間上の圧縮率の等高線を示す図
【図９】圧縮率の計算に用いるα値の一例を示す図
【図１０】圧縮率の具体例を示す図
【図１１】実施の形態１の構成を示すブロック図
【図１２】距離ｄに応じた領域分割の例を示す図
【図１３】実施の形態２の構成を示すブロック図
【図１４】フレーム間差分処理によって動物体を検出する様子を示す図
【図１５】背景差分処理によって動物体を検出する様子を示す図
【図１６】撮像画像から人物、車を分類して検出した様子を示す図
【図１７】特定物体を種類に応じて分類して検出するための処理例を示す図
【発明を実施するための形態】
【００１４】
［１］原理
先ず、本発明の実施の形態を説明する前に、実施の形態の原理について説明する。
【００１５】
本発明の発明者らは、全方位カメラ等の広角カメラによって得られた画像においては、画像領域に応じて画像の品質が大きく異なることに着目した。特に、全方位カメラによって得られた全方位画像は、画像領域に応じて画像の品質が顕著に異なる。
【００１６】
先ず、発明者らは、全方位カメラのカメラ特性に起因して、撮像画像に次の特性が現れることに着目した。
【００１７】
・カメラの光軸方向付近の撮像画像は、歪みが小さく、収差が小さく、解像度が高い。逆の表現をすると、カメラの光軸方向から離れた方向ほど、撮像画像は、歪みが大きく、収差が大きく、解像度が低くなる。
・カメラから距離の離れた対象ほど、撮像画像の解像度が低くなる。
【００１８】
ここで、全方位カメラの光軸方向とは、全方位カメラの正面方向又は中心方向といってもよい。
【００１９】
なお、上記「カメラの光軸方向付近の撮像画像は、歪みが小さく、収差が小さく、解像度が高い」といった特性は、全方位（広角）カメラ以外の狭角のカメラ（以下、このようなカメラを通常のカメラと呼ぶ）にも現れる特性であるが、特に全方位カメラのような超広角カメラにおいて顕著に現れる特性である。また、上記「カメラから距離の離れた対象ほど、撮像画像の解像度が低くなる」といった特性も、通常のカメラにも現れる特性であるが、通常のカメラよりも全方位カメラのような超広角カメラにおいて顕著に現れる特性である。
【００２０】
本発明では、上記全方位（広角）カメラの特性を利用して、撮像画像をカメラの光軸からの角度に応じて複数の領域に分割し、分割したされた各領域画像を、光軸からの各領域画像までの角度に応じて圧縮率を変化させて圧縮する。この処理は、撮像画像のみに着目した場合、カメラによって得られた撮像画像を複数の領域に分割し、分割された各領域画像を、撮像画像の所定の点から各領域画像までの長さに応じて圧縮率を変化させて圧縮する、と言うことができる。また、本発明では、カメラから各領域画像に含まれるターゲットまでの距離に応じて、圧縮率を変化させる。
【００２１】
本発明では、上記角度・距離に応じた圧縮率の変化のさせ方として、
第１の圧縮方法：「低品質の領域のデータ量を大幅に減らし、高品質の領域の品質を維持する」方法
第２の圧縮方法：「全領域で平均的な解像度の画像を得る」方法
の２つの圧縮方法を提示する。
【００２２】
以下、第１及び第２の圧縮方法について、個別に説明する。
【００２３】
［１−２］第１の圧縮方法：「低品質の領域のデータ量を大幅に減らし、高品質の領域の品質を維持する」方法
この圧縮方法は、次の(i)〜(iii)の規則に従って圧縮率を変化させる。
【００２４】
(i)光軸からの角度が大きな角度で得られた領域画像ほど大きな圧縮率で圧縮する。
(ii)カメラから距離の離れた対象の画像ほど大きな圧縮率で圧縮する。
(iii)光軸付近で得られた画像は大きな圧縮率で圧縮する。
【００２５】
(i)の処理を行うことにより、そもそも歪み等のためにあまり画像品質が良くなく、情報を削減しても表示時に画質劣化が目立たない、カメラ光軸から離れた角度で得られた画像ほど、圧縮率を大きくするので、実質的な画質劣化を抑制しつつ、画像データを大幅に削減できる。また、光軸からの角度といった単純なパラメータによって圧縮率を変えるので、複雑な画像処理を行うことなしに、圧縮率を変えることができる。
【００２６】
同様に、(ii)の処理を行うことにより、そもそも低解像度等のためにあまり画像品質が良くなく、情報を削減しても表示時に画質劣化が目立たない又は人物識別等に利用できない、カメラから遠いターゲットほど、圧縮率を大きくするので、実質的な有意領域の画質劣化を抑制しつつ、画像データを大幅に削減できる。
【００２７】
ここで、(iii)の処理を行う理由について説明する。全方位カメラは、天井や柱に、地表方向に向けて設置されることが多く、このような場合、カメラの光軸方向に存在する人物の撮像画像は、頭部のみが写ったものとなっている可能性が高い。発明者らは、頭部のみが写った画像は有意性が低いので、その領域の画像は圧縮率を大きくして画質が劣化してもよいと考えた。発明者らは、このような検討から、(iii)の処理を行えば、有意領域でない画像の符号量を大きく削減でき、全体としての符号量を削減できると考えた。
【００２８】
ところで、有意画像ほど圧縮率を小さくする技術としては、従来、ＲＯＩ（Region of Interest）符号化がある。ＲＯＩ符号化は、画像の注目領域（つまり、ＲＯＩ）を他の領域とは異なる画質で符号化する技術である。具体的には、注目領域ほど圧縮率を小さくすることで、注目領域の画質劣化を抑制する。但し、ＲＯＩ符号化では、どの領域を注目領域とするかによって有意画像の劣化の程度が異なるので、どの領域を注目領域に設定するかが重要となる。的確な注目領域の設定するためには、一般に、パターン認識等の画像処理が必要になるので、演算量が増大する。
【００２９】
これに対して、(iii)では、全方位（広角）画像の特徴を有効に利用して有意性を決めているので、大きな演算量の増加を伴わずに、的確に全方位画像の有意領域を設定できる。この結果、比較的小さな演算規模で、高品質及び高圧縮率の圧縮画像データを得ることができる。
【００３０】
ここで、上記(i)〜(iii)の処理は、適宜組み合わせて用いることができる。例えば、上記(i)〜(iii)の処理を全て用いてもよく、上記(ii)、(iii)の処理を行わずに上記(i)の処理のみを行ってもよい。また、上記(iii)の処理を行わずに、上記(i)、(ii)の処理を行ってもよい。また、上記(ii)の処理を行わずに、上記(i)、(iii)の処理を行ってもよい。
【００３１】
なお、上記(i)と(iii)の処理を組み合わせて行う場合には、例えば、光軸からの角度が５°未満の角度で得られた画像は大きな圧縮率で圧縮し（(iii)の処理を行う）、光軸からの角度が５°以上の角度で得られた画像は光軸からの角度が大きくなるほど大きな圧縮率で圧縮すればよい（(i)の処理を行う）。
【００３２】
［１−３］第２の圧縮方法：「全領域で平均的な解像度の画像を得る」方法
この圧縮方法は、次の(iv)、(v)の規則に従って圧縮率を変化させる。
(iv)光軸からの角度が大きな角度で得られた領域画像ほど小さな圧縮率で圧縮する。
(v)カメラから距離の離れた対象の画像ほど小さな圧縮率で圧縮する。
【００３３】
(iv)の処理を行うことにより、そもそも歪み等のためにあまり画像品質が良くない画像ほど、圧縮によるさらなる劣化を抑制でき、結果として、全領域で均一（平均的）な品質の画像を得ることができる。また、光軸からの角度といった単純なパラメータによって圧縮率を変えるので、複雑な画像処理を行うことなしに、圧縮率を変えることができる。
【００３４】
同様に、(v)の処理を行うことにより、そもそも低解像度等のためにあまり画像品質が良くない画像ほど、圧縮によるさらなる劣化を抑制でき、結果として、全領域で均一（平均的）な品質の画像を得ることができる。
【００３５】
ここで、上記(iv)、(v)の処理は、組み合わせて用いてもよいし、(v)の処理を行わずに上記(iv)の処理のみを行ってもよい。
【００３６】
［１−４］処理イメージ
次に、図１〜図１０を用いて、本発明の処理イメージを説明する。
【００３７】
図１は、全方位カメラ１０がターゲットＴ１〜Ｔ６を撮像している様子を示すものである。なお、図の例の場合、ターゲットは人物であるが、ターゲットは人物に限らない。図１の例では、全方位カメラ１０は、天井や柱に、地表方向に向けて設置されている。図中、Ｃ０は全方位カメラの光軸である。図１は、全方位カメラ１０による撮像の様子を、地表と平行な方向から見たものである。
【００３８】
図２は、全方位カメラ１０によって撮像された全方位画像１を示すものである。
【００３９】
図１及び図２において、ターゲットＴ１、Ｔ２は光軸Ｃ０から角度θ１の位置に存在し、ターゲットＴ３、Ｔ４は角度θ２の位置に存在し、ターゲットＴ５、Ｔ６は角度θ３の位置に存在する。ここで、θ１、θ２、θ３は、θ１＞θ２＞θ３の関係にある。また、ターゲットＴ１、Ｔ３、Ｔ５は全方位カメラ１０から距離ｄ１の位置に存在し、ターゲットＴ２、Ｔ４、Ｔ６は全方位カメラ１０から距離ｄ２の位置に存在する。ここで、ｄ１、ｄ２は、ｄ１＜ｄ２の関係にある。
【００４０】
図３は、光軸Ｃ０からの角度θと、撮像画像との関係を示す図である。図３Ａは、実空間上で角度θに存在する物体が光学系２を介して撮像面上のどの位置で撮像されるかを示す図である。ここで、撮像面上における光軸Ｃ０に対応する点をＰ０とすると、物体Ｔに対応する撮像面上の点は点Ｐ０から距離ｌの点となる。なお、点Ｐ０は、全方位画像においては、撮像画像の中心の点となる。
【００４１】
点Ｐ０から、物体Ｔ１と光学系２の光学中心とを結ぶ直線の延長線と、撮像面との交点までの距離は、ｆ×tanθで表される。ｆはカメラの焦点距離を示す。距離ｌと、ｆ×tanθとの関係は、レンズの歪を表す係数κ１、κ２などを用いて、次式により表される。
ｆ×tanθ ＝ ｌ＋ｌ×(κ１×ｌ2＋κ２×ｌ４＋、、、）
＝ ｌ×（ｌ＋ κ１×ｌ2＋κ２×ｌ４＋、、、) ………（１）
【００４２】
上記式（１）については、例えば非特許文献１に記載されている。
【００４３】
このように、焦点距離ｆと係数κ１、κ２等を用いて、角度θと距離ｌとの関係は一意に定まる。よって、角度θに応じた圧縮率を設定すれば、その圧縮率から距離ｌに応じた圧縮率は容易に求めることができる。つまり、図３Ｂに示すように、全方位画像１上において、光軸Ｃ０に対応する点Ｐ０から距離ｌの物体Ｔの圧縮率は、距離ｌの値に応じて設定すればよくなる。但し、実空間上でのカメラから各ターゲットＴ１〜Ｔ６までの距離ｄは全方位画像１から求めることは困難なので、距離計測手段を用いて求める。距離ｄの求め方は、後述する。
【００４４】
図４は、ターゲットまでの距離ｄに応じて同じ物体を撮影したときの撮像画像のサイズ（解像度といってもよい）が異なることを示すものである。カメラの撮像面からターゲットまでの距離ｄが大きいほど撮像画像サイズは小さくなる。例えば、ターゲットＴ３までの距離ｄ１が５［ｍ］、ターゲットＴ４までの距離ｄ２が１０［ｍ］の場合には、ターゲットＴ３は１０ピクセルの画像となり、ターゲットＴ４は５ピクセルの画像となるので、ターゲットＴ３の解像度はターゲットＴ４の解像度の２倍となる。
【００４５】
［１−４−１］第１の圧縮方法（「低品質の領域のデータ量を大幅に減らし、高品質の領域の品質を維持する」方法）を用いる場合の処理イメージ
【００４６】
図２において、ターゲットＴ１、Ｔ２を含む分割領域Ａ１、Ａ２は光軸Ｃ０からの角度θ１が大きく歪みが大きいので高圧縮率で圧縮される。ターゲットＴ３、Ｔ４を含む分割領域Ａ３、Ａ４は、光軸Ｃ０からの角度θ２が角度θ１よりも小さく、歪みが小さいので、ターゲットＴ１、Ｔ２よりも低圧縮率で圧縮される。ターゲットＴ５、Ｔ６は光軸Ｃ０付近に存在し頭のみしか写らないので、高圧縮率で圧縮される。
【００４７】
また、Ｔ１、Ｔ３、Ｔ５の全方位カメラ１０からの距離ｄ１は、Ｔ２、Ｔ４、Ｔ６の全方位カメラ１０からの距離ｄ２よりも小さい（ｄ１＜ｄ２）ので、Ｔ１、Ｔ３、Ｔ５はＴ２、Ｔ４、Ｔ６よりも低圧縮率で圧縮される。
【００４８】
なおここでは、説明を簡単化するために、図２のように、全方位画像１を、ターゲットＴ１〜Ｔ６を含む分割領域Ａ１〜Ａ６に分割して、この分割領域Ａ１〜Ａ６の圧縮率を角度θ（撮像画像においては点Ｐ０から分割領域Ａ１〜Ａ６までの長さｌ）及び距離ｄに応じた変化させる場合について説明したが、ターゲットに着目して画像を分割する場合に限らない。すなわち、全方位画像１を、角度θ（撮像画像においては点Ｐ１から分割領域Ａ１〜Ａ６までの長さ）に応じて複数の領域に分割し、分割された各領域画像を、角度θ（撮像画像においては点Ｐ１から分割領域Ａ１〜Ａ６までの長さ）に応じて圧縮率を変化させて圧縮すればよい。
【００４９】
図５は、第１の圧縮方法のうち、上記規則(i)光軸からの角度が大きな角度で得られた領域画像ほど大きな圧縮率で圧縮する、及び、上記規則(ii)カメラから距離の離れた対象の画像ほど大きな圧縮率で圧縮する、を組み合わせて用いた場合の、３次元空間上の圧縮率の等高線を示したものである。図５において、等高線Ｌ１〜Ｌ３は、等高線Ｌ１が示す圧縮率 ＜ 等高線Ｌ２が示す圧縮率 ＜ 等高線Ｌ３が示す圧縮率、の関係にある。
【００５０】
図６は、第１の圧縮方法のうち、上記規則(i)光軸からの角度が大きな角度で得られた領域画像ほど大きな圧縮率で圧縮する、及び、上記規則(ii)カメラから距離の離れた対象の画像ほど大きな圧縮率で圧縮する、及び、上記規則(iii)光軸付近（０≦θ＜ＴＨ；ＴＨは予め決められた閾値）の画像は大きな圧縮率で圧縮する、を組み合わせて用いた場合の、３次元空間上の圧縮率の等高線を示したものである。図６において、等高線Ｌ１〜Ｌ５は、等高線Ｌ１が示す圧縮率 ＜ 等高線Ｌ２が示す圧縮率 ＜ 等高線Ｌ３が示す圧縮率 ＜ 等高線Ｌ４が示す圧縮率 ＜ 等高線Ｌ５が示す圧縮率、の関係にある。なお、図６では、光軸付近（０≦θ＜ＴＨ）の画像を固定の圧縮率Ｌ５で圧縮する場合を示したが、図７に示すように、光軸付近（０≦θ＜ＴＨ）の画像の圧縮率は、他の領域の画像の圧縮率よりも相対的に大きくしつつ、角度θ（撮像画像においては点Ｐ１からの長さ）及び距離ｄに応じて変化させてもよい。
【００５１】
［１−４−２］第２の圧縮方法（「全領域で平均的な解像度の画像を得る」方法）を用いる場合の処理イメージ
【００５２】
図２において、ターゲットＴ１、Ｔ２を含む分割領域Ａ１、Ａ２は光軸Ｃ０からの角度θ１が大きく歪みが大きいので低圧縮率で圧縮される。ターゲットＴ３、Ｔ４を含む分割領域Ａ３、Ａ４は、光軸Ｃ０からの角度θ２が角度θ１よりも小さく、歪みが小さいので、ターゲットＴ１、Ｔ２よりも高圧縮率で圧縮される。
【００５３】
また、Ｔ１、Ｔ３、Ｔ５の全方位カメラ１０からの距離ｄ１は、Ｔ２、Ｔ４、Ｔ６の全方位カメラ１０からの距離ｄ２よりも小さい（ｄ１＜ｄ２）ので、Ｔ１、Ｔ３、Ｔ５はＴ２、Ｔ４、Ｔ６よりも高圧縮率で圧縮される。
【００５４】
図８は、第２の圧縮方法の上記規則(iv)光軸からの角度が大きな角度で得られた領域画像ほど小さな圧縮率で圧縮する、及び、上記規則(v)カメラから距離の離れた対象の画像ほど小さな圧縮率で圧縮する、を組み合わせて用いた場合の、３次元空間上の圧縮率の等高線を示したものである。図８において、等高線Ｌ１〜Ｌ３は、等高線Ｌ１が示す圧縮率 ＞ 等高線Ｌ２が示す圧縮率 ＞ 等高線Ｌ３が示す圧縮率、の関係にある。
【００５５】
［１−５］圧縮率の設定
次に、具体的な圧縮率の設定について説明する。
【００５６】
上記第１の圧縮方法を採用する場合の圧縮率は、式（２）又は式（３）により求めることができる。
【００５７】
圧縮率 ＝ （θ×α）×（ｄ×β） ……… （２）
圧縮率 ＝ （θ×α）＋（ｄ×β） ……… （３）
但し、０≦θ＜ＴＨの領域では、圧縮率は、他の領域よりも相対的に大きな固定値に設定する。
【００５８】
なお、角度θに乗ずる係数αは、例えば、カメラパラメータに含まれる、レンズ特性に依存する歪係数、収差、解像度等に応じて設定すればよい。また、距離ｄに乗ずる係数βは、例えば、カメラパラメータに含まれる焦点距離等に応じて設定すればよい。
【００５９】
上記第２の圧縮方法を採用する場合の圧縮率は、式（４）又は式（５）により求めることができる。
【００６０】
圧縮率 ＝ （１／θ×α）×（１／ｄ×β） ……… （４）
圧縮率 ＝ （１／θ×α）＋（１／ｄ×β） ……… （５）
【００６１】
図９に、α値の一例を示す。図９は、中心解像度（つまりθ＝０の解像度）が１９０［ＬＰ／ｍｍ］、レンズ端解像度（つまりθ＝９０°の解像度）が１００［ＬＰ／ｍｍ］のカメラを用い、上記第２の圧縮方法を採用する場合における、α値の設定の一例を示すものである。
【００６２】
図１０に、圧縮率の具体例を示す。
【００６３】
［２］実施の形態１
図１１に、本発明の実施の形態１に係る構成を示す。図１１の広角カメラ装置１１０は、カメラ部１１と、距離計測部１２と、画像処理装置１００とを有する。
【００６４】
カメラ部１１は、例えば全方位カメラである。なお、カメラ部１１は、全方位カメラに限らず、光軸からの角度θが大きくなるほど歪み等により撮像画質が悪くなるカメラであればよい。但し、カメラ部１１が全方位カメラの場合に、本発明の効果が顕著となるので、以下の説明では、カメラ部１１が全方位カメラである場合について説明する。カメラ部１１により得られた全方位画像は、画像処理装置１００の領域分割部１０１に出力される。
【００６５】
距離計測部１２は、カメラ部１１に付随して配置され、又は、カメラ部１１に内蔵されている。距離計測部１２は、撮像領域内に存在するターゲットとカメラ部１１との距離ｄを計測する。距離計測部１２としては、超音波センサ、赤外センサ等の測距センサを用いることができる。また、距離計測部１２は、ターゲットに付帯された無線タグからの信号を受信し、受信した無線信号に基づいて無線タグの位置座標を求め、この位置座標とカメラ部１１の位置座標とから距離ｄを求める構成でもよい。さらに、カメラ部１１がステレオ画像を取得できる構成となっている場合には、距離計測部１２は、ステレオ画像を用いてターゲットまでの距離を求めてもよい。距離計測部１２は、撮像空間内でターゲットを測位できるものであればどのような構成でもよい。距離計測部１２により得られた距離ｄの情報は、領域分割部１０１及び圧縮率設定部１０４に出力される。
【００６６】
領域分割部１０１は、全方位画像を複数の領域に分割する。このとき、領域分割部１０１は、図２に示したように、全方位画像１の中のターゲットＴ１〜Ｔ６を基準にして各ターゲットＴ１〜Ｔ６を含む分割領域Ａ１〜Ａ６に分割してもよく、ターゲットＴ１〜Ｔ６とは無関係に単純に複数の領域に分割してもよい。なお、距離ｄが異なる画像は異なる領域に分割する。
【００６７】
図１２に、距離ｄに応じた領域分割の例を示す。図１２では、カメラからの距離が５［ｍ］未満の領域と、５［ｍ］以上の領域とで、領域分割する例が示されている。つまり、角度θを無視した場合、ターゲットＴ１１、Ｔ１２を含む画像は、ターゲットＴ２１、Ｔ２２を含む画像とは異なる領域の画像に分割される。なお、ステレオ画像を用いて距離を計測する場合には、画素毎に距離を計測できるので、画素毎の距離情報に基づいて、近接するほぼ同一の距離の画素を集めて領域分割することができる。複数領域に分割された全方位画像は、距離算出部１０２に出力される。
【００６８】
距離算出部１０２は、撮像画像において、光軸Ｃ０に対応する点Ｐ０から各領域画像までの距離ｌを算出する。
【００６９】
圧縮率設定部１０４は、撮像画像上での上記距離ｌとカメラ部１１からターゲットまでの距離ｄとから、各領域画像の圧縮率を設定する。実際上、圧縮率設定部１０４は、距離ｌと距離ｄとに対応した圧縮率が格納されたテーブルを有し、距離ｌと距離ｄを読み出しアドレスとして、距離ｌ及び距離ｄに対応した圧縮率を出力する。なお、上述したように角度θに対応する圧縮率は、式（２）〜式（５）のいずれかを用い求めることができる。また、式（１）により角度θと距離ｌとの関係は一意に決っているので、角度θに対応する圧縮率から距離ｌに対応する圧縮率を求めることができる。圧縮率設定部１０４のテーブルには、その距離ｌに対応する圧縮率が格納されている。なお、式（２）〜式（５）における係数α、βは、上述したように、カメラパラメータ格納部１０３に格納された歪係数、収差、解像度、焦点距離等に応じて設定すればよい。また、上述したように、第１の圧縮方法を用いる場合には、０≦θ＜ＴＨの領域の圧縮率は、他の領域よりも相対的に大きな値に設定するとよい。
【００７０】
画像圧縮部１０５は、領域分割部１０１によって分割された各領域画像を、圧縮率設定部１０４によって設定された圧縮率で圧縮符号化することで、圧縮符号化データを得る。
【００７１】
画像出力部１０６は、圧縮符号化データを、伝送路や記録媒体等に出力する。伝送路を介して相手側装置に伝送された圧縮符号化データは、相手側装置によって復号されて表示される。また、記録媒体に記録された圧縮符号化データは、再生装置によって再生復号されて表示される。
【００７２】
以上の構成によれば、カメラ部１１によって得られた撮像画像を複数の領域に分割する領域分割部１０１と、領域分割部１０１によって分割された各領域画像を、撮像画像の所定の点（光軸Ｃ０に対応する点であり、全方位画像１においては撮像画像の中心点）から各領域画像までの距離ｌ及びカメラ部１１から各領域に含まれるターゲットＴ１〜Ｔ４までの距離ｄに応じて圧縮率を変化させて圧縮する画像圧縮部１０５とを設けたことにより、広角カメラのカメラ特性を考慮した、高画質及び高効率の画像圧縮を実現できる。
【００７３】
［３］実施の形態２
図１１との対応部分に同一符号を付して示す図１３に、実施の形態２の広角カメラ装置の構成を示す。広角カメラ装置２１０の画像処理装置２００は、物体検出部２０１を有する。
【００７４】
物体検出部２０１は、全方位画像から注目物体（すなわちターゲット）を検出する。物体検出部２０１は、ターゲットとして、例えば動いている物体を検出する。また、物体検出部２０１は、特定の物体を種類に応じて分類して検出してもよい。画像中に含まれる動物体の検出及び物体の分類処理は、既知の技術によって容易に実現できるが、以下簡単に説明する。
【００７５】
図１４は、フレーム間差分処理によって動物体を検出する様子を示す。図では、ｔフレームとｔ＋１フレームとの差分をとることにより、動物体である人物が検出される様子が示されている。
【００７６】
図１５は、背景差分処理によって動物体を検出する様子を示す。図では、複数フレーム（ｔ−２フレームとｔ−１フレームとｔフレーム）の画像から背景画像を得、この背景画像とｔ＋１フレームの画像の差分をとることにより、動物体である人物が検出される様子が示されている。
【００７７】
図１６は、撮像画像から人物、車を分類して検出した様子を示す。
【００７８】
図１７は、特定物体を種類に応じて分類して検出するための処理例を示す。図１７Ａに示すように、物体検出部２０１は、学習により、人物、車、２輪車等の形状を学習パターンとして保持している。そして、物体検出部２０１は、入力画像と学習パターンとのパターンマッチング処理を行うことで、入力画像に含まれる特手物体を検出する。
【００７９】
物体検出部２０１は、動物体等の特定物体の検出結果を領域分割部２０２に出力する。領域分割部２０２は、例えば図２に示すように、全方位画像を、特定物体（図２の場合には人物）を含む領域毎に分割する。
【００８０】
後段の距離算出部１０２、圧縮率設定部１０４、画像圧縮部１０５では、全画像ではなく、特定物体を含む所定画像領域に対してのみ、実施の形態１と同様の処理を行う。これにより、特定物体を含む重要領域のみが実施の形態１で示したような、広角カメラのカメラ特性を考慮した圧縮率で圧縮される。なお、特定物体を含む重要領域以外の領域は、重要領域よりも大きな圧縮率で圧縮する。
【００８１】
これにより、実施の形態１の効果に加えて、重要領域以外の圧縮率を高くするので、圧縮符号化データのデータ量を一段と削減できるようになる。
【００８２】
［４］他の実施の形態
上述の実施の形態の処理に加えて、復号側で超解像度処理を行うことを考慮した圧縮処理を行ってもよい。ここで、超解像度処理を行うためには、撮像された画像の折り返し歪み成分が必要となる。画像の高周波成分を削除してしまうような圧縮を行うと、折り返し歪み成分も失われてしまうので、超解像度処理が困難になる。これを考慮して、高周波成分は、例えばその他の成分よりも１割小さい圧縮率で圧縮符号化することにより、高周波成分が圧縮によりできるだけ失われないようにすると好ましい。
【００８３】
上述の実施の形態の画像処理装置１００、２００は、メモリ・ＣＰＵを含むパソコン等のコンピュータによって構成することができる。そして、画像処理装置１００、２００を構成する各構成要素の機能は、メモリ上に記憶されたコンピュータプログラムをＣＰＵが読み出して実行処理することで実現できる。
【産業上の利用可能性】
【００８４】
本発明は、例えば全方位カメラ等の広角カメラにより撮像された画像を圧縮するのに用いて好適である。
【符号の説明】
【００８５】
１ 全方位画像
１０ 全方位カメラ
１１ カメラ部
１２ 距離計測部
１００ 画像処理装置
１０１、２０２ 領域分割部
１０２ 距離算出部
１０３ カメラパラメータ格納部
１０４ 圧縮率設定部
１０５ 画像圧縮部
１０６ 画像出力部
１１０、２１０ 広角カメラ装置
２０１ 物体検出部
Ｔ１〜Ｔ６ ターゲット
θ１〜θ３ 角度
ｄ１、ｄ２ 距離
Ｃ０ 光軸
Ａ１〜Ａ６ 分割領域
【特許請求の範囲】
【請求項１】
撮像手段によって得られた撮像画像を、複数の領域に分割する領域分割部と、
前記領域分割部によって分割された各領域画像を、前記撮像手段が前記撮像画像を取得する際の歪の程度に応じて圧縮率を変化させて圧縮する画像圧縮部と、
を具備する画像処理装置。
【請求項２】
撮像手段によって得られた撮像画像を、複数の領域に分割する領域分割部と、
前記領域分割部によって分割された各領域画像を、前記撮像画像の所定の点から各領域画像までの長さに応じて圧縮率を変化させて圧縮する画像圧縮部と、
を具備する画像処理装置。
【請求項３】
前記画像圧縮部は、さらに、前記撮像手段から前記各領域画像に含まれるターゲットまでの距離に応じて、前記圧縮率を変化させる、
請求項１又は請求項２に記載の画像処理装置。
【請求項４】
前記圧縮部は、前記所定の点からの長さが大きな領域画像ほど大きな圧縮率で圧縮する、
請求項２に記載の画像処理装置。
【請求項５】
前記圧縮部は、前記所定の点からの長さが大きな領域画像ほど小さな圧縮率で圧縮する、
請求項２に記載の画像処理装置。
【請求項６】
前記圧縮部は、前記撮像手段からの距離が大きいターゲットを含む領域画像ほど大きな圧縮率で圧縮する、
請求項３又は請求項４に記載の画像処理装置。
【請求項７】
前記圧縮部は、前記撮像手段からの距離が大きいターゲットを含む領域画像ほど小さな圧縮率で圧縮する、
請求項３又は請求項５に記載の画像処理装置。
【請求項８】
前記所定の点は、前記撮像手段の光軸に対応する点である、
請求項２に記載の画像処理装置。
【請求項９】
前記撮像画像は、全方位画像であり、
前記所定の点は、撮像画像のほぼ中心の点である、
請求項２に記載の画像処理装置。
【請求項１０】
前記圧縮部は、前記所定の点からの長さが予め決められた閾値以下の領域画像は、前記所定の点からの長さが前記閾値より大きい領域画像よりも、大きな圧縮率で圧縮する、
請求項８に記載の画像処理装置。
【請求項１１】
撮像手段によって得られた撮像画像を、複数の領域に分割する領域分割ステップと、
分割した各領域画像を、前記撮像画像の所定の点から各領域画像までの長さに応じて圧縮率を変化させて圧縮する画像圧縮ステップと、
を含む画像処理方法。
【請求項１２】
コンピュータに、
撮像手段によって得られた撮像画像を、複数の領域に分割する領域分割ステップと、
分割した各領域画像を、前記撮像画像の所定の点から各領域画像までの長さに応じて圧縮率を変化させて圧縮する画像圧縮ステップと、
を実行させるプログラム。
【請求項１】
撮像手段によって得られた撮像画像を、複数の領域に分割する領域分割部と、
前記領域分割部によって分割された各領域画像を、前記撮像手段が前記撮像画像を取得する際の歪の程度に応じて圧縮率を変化させて圧縮する画像圧縮部と、
を具備する画像処理装置。
【請求項２】
撮像手段によって得られた撮像画像を、複数の領域に分割する領域分割部と、
前記領域分割部によって分割された各領域画像を、前記撮像画像の所定の点から各領域画像までの長さに応じて圧縮率を変化させて圧縮する画像圧縮部と、
を具備する画像処理装置。
【請求項３】
前記画像圧縮部は、さらに、前記撮像手段から前記各領域画像に含まれるターゲットまでの距離に応じて、前記圧縮率を変化させる、
請求項１又は請求項２に記載の画像処理装置。
【請求項４】
前記圧縮部は、前記所定の点からの長さが大きな領域画像ほど大きな圧縮率で圧縮する、
請求項２に記載の画像処理装置。
【請求項５】
前記圧縮部は、前記所定の点からの長さが大きな領域画像ほど小さな圧縮率で圧縮する、
請求項２に記載の画像処理装置。
【請求項６】
前記圧縮部は、前記撮像手段からの距離が大きいターゲットを含む領域画像ほど大きな圧縮率で圧縮する、
請求項３又は請求項４に記載の画像処理装置。
【請求項７】
前記圧縮部は、前記撮像手段からの距離が大きいターゲットを含む領域画像ほど小さな圧縮率で圧縮する、
請求項３又は請求項５に記載の画像処理装置。
【請求項８】
前記所定の点は、前記撮像手段の光軸に対応する点である、
請求項２に記載の画像処理装置。
【請求項９】
前記撮像画像は、全方位画像であり、
前記所定の点は、撮像画像のほぼ中心の点である、
請求項２に記載の画像処理装置。
【請求項１０】
前記圧縮部は、前記所定の点からの長さが予め決められた閾値以下の領域画像は、前記所定の点からの長さが前記閾値より大きい領域画像よりも、大きな圧縮率で圧縮する、
請求項８に記載の画像処理装置。
【請求項１１】
撮像手段によって得られた撮像画像を、複数の領域に分割する領域分割ステップと、
分割した各領域画像を、前記撮像画像の所定の点から各領域画像までの長さに応じて圧縮率を変化させて圧縮する画像圧縮ステップと、
を含む画像処理方法。
【請求項１２】
コンピュータに、
撮像手段によって得られた撮像画像を、複数の領域に分割する領域分割ステップと、
分割した各領域画像を、前記撮像画像の所定の点から各領域画像までの長さに応じて圧縮率を変化させて圧縮する画像圧縮ステップと、
を実行させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【公開番号】特開２０１１−５５３６６（Ｐ２０１１−５５３６６Ａ）
【公開日】平成２３年３月１７日（２０１１．３．１７）
【国際特許分類】
【出願番号】特願２００９−２０４０３８（Ｐ２００９−２０４０３８）
【出願日】平成２１年９月３日（２００９．９．３）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２３年３月１７日（２０１１．３．１７）
【国際特許分類】
【出願日】平成２１年９月３日（２００９．９．３）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]