撮像装置
【課題】ウェアラブルカメラ等において、撮像装置の大きな動き補正を施す場合に、画像のボケ方の不自然な変化を防ぎ、また揺れが少ない場合には解像度の高い画像を得ることができる。
【解決手段】センサ部２０は撮像装置の角速度を検出し、判断回路３０はその角速度の絶対値を閾値Ｋにてまず大きな動きかどうかを検出する。マスクパルスにて微小な静止期間はマスクし、揺れ期間か静止期間かを判断する。次に揺れ期間における短時間の静止時間を判断し、制御信号ＣＸをフィルタ回路４０にてローパスフィルタ処理を施して、映像信号の輪郭を抑制する。
【解決手段】センサ部２０は撮像装置の角速度を検出し、判断回路３０はその角速度の絶対値を閾値Ｋにてまず大きな動きかどうかを検出する。マスクパルスにて微小な静止期間はマスクし、揺れ期間か静止期間かを判断する。次に揺れ期間における短時間の静止時間を判断し、制御信号ＣＸをフィルタ回路４０にてローパスフィルタ処理を施して、映像信号の輪郭を抑制する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、映像信号の周波数特性を調整する撮像装置に関し、特に撮像装置の動きや揺れを角速度センサ等により検出してその動きに起因する映像信号のぶれを補正処理する際に、画像が不自然な特性にならないような撮像装置に関する。
【背景技術】
【０００２】
ビデオカメラおよびスチルカメラの新しい用途として、人間が常時装着し常時撮影を行うことを前提としたカメラ（以下「ウェアラブルカメラ」と表記）が提案されている。例えば、カメラやマイクなどのセンサから情報を取得し、イベントごとに重要度を定義して記録する、人間の記憶と想起を補助するためのウェアラブル機器である。
【０００３】
しかし、ウェアラブルカメラを実現しようとすると、装着者の動きが原因で画質の低下を招くという問題がある。特に問題となるのが、装着者の動きによる画角の変動である。
【０００４】
これに対して、特許文献１には、カメラの光軸を制御する機構を持つことなく、角速度センサ等で得られるカメラの画角の変化量を元に、画像処理によって光軸が一致した、即ち回転および平行移動成分が補正された画像を得ることができる画像処理装置および画像処理方法が提案されている。この方式は、電子式手ぶれ補正として知られている。
【０００５】
特許文献１に記載されている方法の機能ブロック図を図３に示す。図３において、この画像処理装置１１０は、画像を撮影すると共に画角の変化量を測定し、画像処理によって補正を行う装置であり、撮像部１１１、センシング部１１２、および画像処理部１１３を備える。
【０００６】
撮像部１１１は画像を撮影する部分であり、レンズや撮像素子などで構成され、一般のカメラにおける撮像機能を担う構成要素と同等の機能を有する。
【０００７】
センシング部１１２は、撮像部１１１によって得られる画像情報以外の情報を取得する。センシング部１１２によって取得される情報として、例えば撮像面の傾きやその変化量、撮像面の動きや速度、等といったものが挙げられる。センシング部１１２によって、撮像面の傾き、および平行移動成分を検出する。
【０００８】
画像処理部１１３は撮像部１１１によって撮影された画像に対して、センシング部１１２より得られた情報を元に、画像の回転や平行移動、アフィン変換などの画像変換、画像内の直線成分の検出、被写体の抽出および認識、などの画像処理を行う。ウェアラブルカメラで撮影される画像は、装着者の動作に伴う体の動きによって画角に変動が生じる。
【０００９】
撮像部１１１によって画像を撮影する。センシング部１１２が撮像面の傾き（一般的には撮像面を取り付けている画像処理装置１１０の筐体の傾きと同じ）を測定するには、ジャイロセンサに代表される角速度センサ等、一般に用いられる手段を任意に用いることができる。また、平行移動成分の測定には、加速度センサなどのように一般に用いられる手段を任意に用いることができる。そして、画像処理部１１３で、傾きおよび平行移動成分の補正を行う。
【００１０】
ウェアラブルカメラの装着者の動きによって画角が変化する、というのはカメラ座標系に変換が加わることに相当する。したがって、直前に画像を撮影した時から次に画像を撮影するまでの回転および平行移動量を測定することで、撮影した画像間の対応付けを行うことができる。すなわち、ウェアラブルカメラの装着者の体の動きに起因する画角の変動や像ぶれを、撮像素子を制御する機構なしに低減することができ、撮影画像の品質の向上と消費電力の削減など利便性の向上を両立することが可能となる。
【特許文献１】特開２００７−２２８１５４号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
しかしながら、撮像装置が大きく揺れている時には、撮影画像のぶれや動きと共に、高い周波数成分の劣化すなわち動きボケを生じる。そこで、上記特許文献１のような構成では、撮影画像の動きは補正されるが、動きボケは補正されない。しかも、左右に大きく揺れている撮像装置では、角速度の大小によって画像のボケ方が異なるので、動き（ぶれ）補正をした場合に画像の解像度が変化する不自然な画像となるという課題があった。
【００１２】
本発明は、上述の従来の課題を解決するもので、撮像装置の大きな動き補正を施す場合に、画像のボケ方の不自然な変化を防ぐことを目的とする。
【課題を解決するための手段】
【００１３】
本発明の撮像装置は、被写体を撮像して映像信号を出力する撮像部と、撮像部の変位の速度を検出するセンサ部と、センサ部で検出した結果に基づいて映像信号のブレ量を推定し、ブレ量に基づいて現在が「揺れ」期間であるかどうかを判断すると共に、ブレ量の絶対値が所定値以下のときには一時的にブレのない「一時静止」状態であると判断する判断部と、判断部の判断結果として現在が「揺れ」期間でありかつ「一時静止」状態であるときには映像信号に対して高域成分を抑制するフィルタ処理を行って出力するフィルタ部とを備えることを特徴とする。
【発明の効果】
【００１４】
本発明の撮像装置によれば、ウェアラブルカメラ等において、撮像装置の大きな動き補正を施す場合に、画像のボケ方の不自然な変化を防ぎ、また揺れが少ない場合には解像度の高い画像を得ることができる、という優れた効果が得られる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明の実施の形態について、図面を用いて説明する。
【００１６】
図１は本発明の実施の形態における撮像装置の構成を示すブロック図である。撮像装置は、撮像部１０、センサ部２０、判断回路３０、およびフィルタ回路４０を備える。
【００１７】
撮像部１０は画像を撮影する部分であり、レンズや撮像素子等で構成され、一般のカメラにおける撮像機能を担う構成要素と同等の機能を有する。
【００１８】
センサ部２０は、例えばジャイロセンサに代表される角速度センサにより、撮像面の傾きを検出したり、加速度センサにより、平行移動成分を検出したりする。判断回路３０は、センサ部２０の出力から撮像装置の動きを判断し、フィルタ回路４０の制御を行う。
【００１９】
具体的な判断の手法について、図２を用いて説明する。判断回路３０は、センサ部２０の出力を元に、撮像装置の状態が「揺れ」期間であるか「静止」期間であるか判断する。また、「揺れ」期間にあるときには、さらにその中で撮像装置の変位の速度が大きい「動き」期間であるか、一時的に速度が小さくなる「一時静止」期間であるか判断する。
【００２０】
まず、「揺れ」期間における「動き」期間と「一時静止」期間の判断について説明する。
【００２１】
例えば図２は、初めは撮像装置が左右に揺れている期間にあり、期間ｂ１において静止した期間に移行したことを示している。また、撮像装置の動きに相当する変位量が図２（ａ）に示すような時間変化をしているとする。このとき、変位量の変化の速さ、すなわち微分量に相当する角速度は図２（ｂ）に示すような変化を示す。
【００２２】
ここで、図２（ａ）および図２（ｂ）を参照すれば明らかなように、図２に示す、ａ１やａ２の期間では、撮像装置が大きく変位しておりかつ、逆方向に移動の向きを変えつつある期間であるため、角速度が小さくなる。そこで角速度の閾値を±Ｋ（Ｋは正数）として、角速度の絶対値がＫ以下であるときに「０」（ローレベル）、Ｋより大きいときに「１」（ハイレベル）となる信号Ｃ１を定義すると、Ｃ１＝０であるときを「一時静止」の期間と判断し、Ｃ１＝１であるときを「動き」の期間と判断することができる。
【００２３】
すなわち、図２に示すａ１やａ２の期間は、「揺れ」期間における短時間の静止期間である「一時静止」期間と見ることができる。
【００２４】
次に、「揺れ」期間と「静止」期間の判断について説明する。
【００２５】
ここで、図２（ｄ）に示すマスク幅にて図２（ｃ）の信号Ｃ１をマスクする。そして例えば、注目する時刻からこのマスク幅の期間分の信号Ｃ１について一瞬でもＣ１＝１、すなわち「動き」期間の期間が含まれるのであれば「１」となり、期間内に常にＣ１＝０であれば「０」となるような信号Ｃ２を定義する。そして、Ｃ２＝１であれば撮像装置は「揺れ」期間にあり、Ｃ２＝０であれば「静止」期間であると判断する。信号Ｃ２は図２（ｅ）に示すような信号となり、「揺れ」期間は、図２（ｅ）においてＣ２＝１の期間であり、「静止」期間はＣ２＝０の期間である。
【００２６】
判断回路３０は、Ｃ１＝０かつＣ２＝１のときに「１」、それ以外のときに「０」となる信号ＣＸをフィルタ回路４０へと出力する。ここで、ＣＸ＝１の期間は、「揺れ」期間における「一時静止」期間である。
【００２７】
フィルタ回路４０は、判断回路３０の出力がＣＸ＝１の期間には、撮像部１０の出力信号に対して、ローパスフィルタ処理を施して出力端子５０から出力し、ＣＸ＝０の期間には、撮像部１０の出力をそのまま出力端子５０から出力する。これは、「一時静止」期間には、「揺れ」期間の中で瞬間的にぶれのない画像となるために、その期間だけ周波数特性が高くなり輪郭成分が見えてしまう結果、画像の解像度が変化する不自然さを防ぐものである。なお、撮像装置の揺れが収まった「静止」期間、すなわち「Ｃ２＝０」の期間には信号ＣＸも「０」となり、フィルタ回路４０のローパスフィルタ処理は働かないので、周波数特性を劣化させることはなく、ぶれのない高解像度の信号をそのまま出力する。
【００２８】
以上のように本実施の形態によれば、撮像装置の大きな動き補正を施す場合に、画像のボケ方の不自然な変化を防ぎ、また揺れが少ない場合には高い解像度の高い画像を得ることができる。
【産業上の利用可能性】
【００２９】
本発明の撮像装置は、カメラの動きによる画角の変動を補正するための装置および方法として有用であり、デジタルスチルカメラをはじめとする撮像装置、特に身体に装着可能な撮像装置にも適用可能である。
【図面の簡単な説明】
【００３０】
【図１】本発明の実施の形態における撮像装置の構成を示すブロック図
【図２】本発明の実施の形態における撮像装置の動作を示す図
【図３】従来の撮像装置の構成を示すブロック図
【符号の説明】
【００３１】
１０ 撮像部
２０ センサ部
３０ 判断回路
４０ フィルタ回路
５０ 出力端子
１１０ 画像処理装置
１１１ 撮像部
１１２ センシング部
１１３ 画像処理部
【技術分野】
【０００１】
本発明は、映像信号の周波数特性を調整する撮像装置に関し、特に撮像装置の動きや揺れを角速度センサ等により検出してその動きに起因する映像信号のぶれを補正処理する際に、画像が不自然な特性にならないような撮像装置に関する。
【背景技術】
【０００２】
ビデオカメラおよびスチルカメラの新しい用途として、人間が常時装着し常時撮影を行うことを前提としたカメラ（以下「ウェアラブルカメラ」と表記）が提案されている。例えば、カメラやマイクなどのセンサから情報を取得し、イベントごとに重要度を定義して記録する、人間の記憶と想起を補助するためのウェアラブル機器である。
【０００３】
しかし、ウェアラブルカメラを実現しようとすると、装着者の動きが原因で画質の低下を招くという問題がある。特に問題となるのが、装着者の動きによる画角の変動である。
【０００４】
これに対して、特許文献１には、カメラの光軸を制御する機構を持つことなく、角速度センサ等で得られるカメラの画角の変化量を元に、画像処理によって光軸が一致した、即ち回転および平行移動成分が補正された画像を得ることができる画像処理装置および画像処理方法が提案されている。この方式は、電子式手ぶれ補正として知られている。
【０００５】
特許文献１に記載されている方法の機能ブロック図を図３に示す。図３において、この画像処理装置１１０は、画像を撮影すると共に画角の変化量を測定し、画像処理によって補正を行う装置であり、撮像部１１１、センシング部１１２、および画像処理部１１３を備える。
【０００６】
撮像部１１１は画像を撮影する部分であり、レンズや撮像素子などで構成され、一般のカメラにおける撮像機能を担う構成要素と同等の機能を有する。
【０００７】
センシング部１１２は、撮像部１１１によって得られる画像情報以外の情報を取得する。センシング部１１２によって取得される情報として、例えば撮像面の傾きやその変化量、撮像面の動きや速度、等といったものが挙げられる。センシング部１１２によって、撮像面の傾き、および平行移動成分を検出する。
【０００８】
画像処理部１１３は撮像部１１１によって撮影された画像に対して、センシング部１１２より得られた情報を元に、画像の回転や平行移動、アフィン変換などの画像変換、画像内の直線成分の検出、被写体の抽出および認識、などの画像処理を行う。ウェアラブルカメラで撮影される画像は、装着者の動作に伴う体の動きによって画角に変動が生じる。
【０００９】
撮像部１１１によって画像を撮影する。センシング部１１２が撮像面の傾き（一般的には撮像面を取り付けている画像処理装置１１０の筐体の傾きと同じ）を測定するには、ジャイロセンサに代表される角速度センサ等、一般に用いられる手段を任意に用いることができる。また、平行移動成分の測定には、加速度センサなどのように一般に用いられる手段を任意に用いることができる。そして、画像処理部１１３で、傾きおよび平行移動成分の補正を行う。
【００１０】
ウェアラブルカメラの装着者の動きによって画角が変化する、というのはカメラ座標系に変換が加わることに相当する。したがって、直前に画像を撮影した時から次に画像を撮影するまでの回転および平行移動量を測定することで、撮影した画像間の対応付けを行うことができる。すなわち、ウェアラブルカメラの装着者の体の動きに起因する画角の変動や像ぶれを、撮像素子を制御する機構なしに低減することができ、撮影画像の品質の向上と消費電力の削減など利便性の向上を両立することが可能となる。
【特許文献１】特開２００７−２２８１５４号公報
【発明の開示】
【発明が解決しようとする課題】
【００１１】
しかしながら、撮像装置が大きく揺れている時には、撮影画像のぶれや動きと共に、高い周波数成分の劣化すなわち動きボケを生じる。そこで、上記特許文献１のような構成では、撮影画像の動きは補正されるが、動きボケは補正されない。しかも、左右に大きく揺れている撮像装置では、角速度の大小によって画像のボケ方が異なるので、動き（ぶれ）補正をした場合に画像の解像度が変化する不自然な画像となるという課題があった。
【００１２】
本発明は、上述の従来の課題を解決するもので、撮像装置の大きな動き補正を施す場合に、画像のボケ方の不自然な変化を防ぐことを目的とする。
【課題を解決するための手段】
【００１３】
本発明の撮像装置は、被写体を撮像して映像信号を出力する撮像部と、撮像部の変位の速度を検出するセンサ部と、センサ部で検出した結果に基づいて映像信号のブレ量を推定し、ブレ量に基づいて現在が「揺れ」期間であるかどうかを判断すると共に、ブレ量の絶対値が所定値以下のときには一時的にブレのない「一時静止」状態であると判断する判断部と、判断部の判断結果として現在が「揺れ」期間でありかつ「一時静止」状態であるときには映像信号に対して高域成分を抑制するフィルタ処理を行って出力するフィルタ部とを備えることを特徴とする。
【発明の効果】
【００１４】
本発明の撮像装置によれば、ウェアラブルカメラ等において、撮像装置の大きな動き補正を施す場合に、画像のボケ方の不自然な変化を防ぎ、また揺れが少ない場合には解像度の高い画像を得ることができる、という優れた効果が得られる。
【発明を実施するための最良の形態】
【００１５】
以下、本発明の実施の形態について、図面を用いて説明する。
【００１６】
図１は本発明の実施の形態における撮像装置の構成を示すブロック図である。撮像装置は、撮像部１０、センサ部２０、判断回路３０、およびフィルタ回路４０を備える。
【００１７】
撮像部１０は画像を撮影する部分であり、レンズや撮像素子等で構成され、一般のカメラにおける撮像機能を担う構成要素と同等の機能を有する。
【００１８】
センサ部２０は、例えばジャイロセンサに代表される角速度センサにより、撮像面の傾きを検出したり、加速度センサにより、平行移動成分を検出したりする。判断回路３０は、センサ部２０の出力から撮像装置の動きを判断し、フィルタ回路４０の制御を行う。
【００１９】
具体的な判断の手法について、図２を用いて説明する。判断回路３０は、センサ部２０の出力を元に、撮像装置の状態が「揺れ」期間であるか「静止」期間であるか判断する。また、「揺れ」期間にあるときには、さらにその中で撮像装置の変位の速度が大きい「動き」期間であるか、一時的に速度が小さくなる「一時静止」期間であるか判断する。
【００２０】
まず、「揺れ」期間における「動き」期間と「一時静止」期間の判断について説明する。
【００２１】
例えば図２は、初めは撮像装置が左右に揺れている期間にあり、期間ｂ１において静止した期間に移行したことを示している。また、撮像装置の動きに相当する変位量が図２（ａ）に示すような時間変化をしているとする。このとき、変位量の変化の速さ、すなわち微分量に相当する角速度は図２（ｂ）に示すような変化を示す。
【００２２】
ここで、図２（ａ）および図２（ｂ）を参照すれば明らかなように、図２に示す、ａ１やａ２の期間では、撮像装置が大きく変位しておりかつ、逆方向に移動の向きを変えつつある期間であるため、角速度が小さくなる。そこで角速度の閾値を±Ｋ（Ｋは正数）として、角速度の絶対値がＫ以下であるときに「０」（ローレベル）、Ｋより大きいときに「１」（ハイレベル）となる信号Ｃ１を定義すると、Ｃ１＝０であるときを「一時静止」の期間と判断し、Ｃ１＝１であるときを「動き」の期間と判断することができる。
【００２３】
すなわち、図２に示すａ１やａ２の期間は、「揺れ」期間における短時間の静止期間である「一時静止」期間と見ることができる。
【００２４】
次に、「揺れ」期間と「静止」期間の判断について説明する。
【００２５】
ここで、図２（ｄ）に示すマスク幅にて図２（ｃ）の信号Ｃ１をマスクする。そして例えば、注目する時刻からこのマスク幅の期間分の信号Ｃ１について一瞬でもＣ１＝１、すなわち「動き」期間の期間が含まれるのであれば「１」となり、期間内に常にＣ１＝０であれば「０」となるような信号Ｃ２を定義する。そして、Ｃ２＝１であれば撮像装置は「揺れ」期間にあり、Ｃ２＝０であれば「静止」期間であると判断する。信号Ｃ２は図２（ｅ）に示すような信号となり、「揺れ」期間は、図２（ｅ）においてＣ２＝１の期間であり、「静止」期間はＣ２＝０の期間である。
【００２６】
判断回路３０は、Ｃ１＝０かつＣ２＝１のときに「１」、それ以外のときに「０」となる信号ＣＸをフィルタ回路４０へと出力する。ここで、ＣＸ＝１の期間は、「揺れ」期間における「一時静止」期間である。
【００２７】
フィルタ回路４０は、判断回路３０の出力がＣＸ＝１の期間には、撮像部１０の出力信号に対して、ローパスフィルタ処理を施して出力端子５０から出力し、ＣＸ＝０の期間には、撮像部１０の出力をそのまま出力端子５０から出力する。これは、「一時静止」期間には、「揺れ」期間の中で瞬間的にぶれのない画像となるために、その期間だけ周波数特性が高くなり輪郭成分が見えてしまう結果、画像の解像度が変化する不自然さを防ぐものである。なお、撮像装置の揺れが収まった「静止」期間、すなわち「Ｃ２＝０」の期間には信号ＣＸも「０」となり、フィルタ回路４０のローパスフィルタ処理は働かないので、周波数特性を劣化させることはなく、ぶれのない高解像度の信号をそのまま出力する。
【００２８】
以上のように本実施の形態によれば、撮像装置の大きな動き補正を施す場合に、画像のボケ方の不自然な変化を防ぎ、また揺れが少ない場合には高い解像度の高い画像を得ることができる。
【産業上の利用可能性】
【００２９】
本発明の撮像装置は、カメラの動きによる画角の変動を補正するための装置および方法として有用であり、デジタルスチルカメラをはじめとする撮像装置、特に身体に装着可能な撮像装置にも適用可能である。
【図面の簡単な説明】
【００３０】
【図１】本発明の実施の形態における撮像装置の構成を示すブロック図
【図２】本発明の実施の形態における撮像装置の動作を示す図
【図３】従来の撮像装置の構成を示すブロック図
【符号の説明】
【００３１】
１０ 撮像部
２０ センサ部
３０ 判断回路
４０ フィルタ回路
５０ 出力端子
１１０ 画像処理装置
１１１ 撮像部
１１２ センシング部
１１３ 画像処理部
【特許請求の範囲】
【請求項１】
被写体を撮像して映像信号を出力する撮像部と、
前記撮像部の変位の速度を検出するセンサ部と、
前記センサ部で検出した結果に基づいて前記映像信号のブレ量を推定し、前記ブレ量に基づいて現在が「揺れ」期間であるかどうかを判断すると共に、前記ブレ量の絶対値が所定値以下のときには一時的にブレのない「一時静止」期間であると判断する判断部と、
前記判断部の判断結果として現在が「揺れ」期間でありかつ「一時静止」期間であるときには前記映像信号に対して高域成分を抑制するフィルタ処理を行って出力するフィルタ部とを備えた撮像装置。
【請求項１】
被写体を撮像して映像信号を出力する撮像部と、
前記撮像部の変位の速度を検出するセンサ部と、
前記センサ部で検出した結果に基づいて前記映像信号のブレ量を推定し、前記ブレ量に基づいて現在が「揺れ」期間であるかどうかを判断すると共に、前記ブレ量の絶対値が所定値以下のときには一時的にブレのない「一時静止」期間であると判断する判断部と、
前記判断部の判断結果として現在が「揺れ」期間でありかつ「一時静止」期間であるときには前記映像信号に対して高域成分を抑制するフィルタ処理を行って出力するフィルタ部とを備えた撮像装置。
【図１】
【図２】
【図３】
【図２】
【図３】
【公開番号】特開２０１０−１３５９５８（Ｐ２０１０−１３５９５８Ａ）
【公開日】平成２２年６月１７日（２０１０．６．１７）
【国際特許分類】
【出願番号】特願２００８−３０８１６４（Ｐ２００８−３０８１６４）
【出願日】平成２０年１２月３日（２００８．１２．３）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２２年６月１７日（２０１０．６．１７）
【国際特許分類】
【出願日】平成２０年１２月３日（２００８．１２．３）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]