情報処理装置、サーバシステム、画像処理システム及びプログラム
【課題】 撮像画像に対して切り出し範囲を設定し、設定した切り出し範囲の画像情報をサーバシステムに対して送信することでネットワークの帯域の圧迫等を抑止できる情報処理装置、サーバシステム、画像処理システム及びプログラム等を提供すること。
【解決手段】 情報処理装置（第１の処理装置１００）は、撮像部（撮像装置１０）から撮像画像を取得する撮像画像取得部１１０と、取得した撮像画像に対して、サーバシステム（第２の処理装置２００）における画像処理対象領域に対応する切り出し範囲を設定する切り出し範囲設定部１２０と、撮像画像のうち、切り出し範囲設定部１２０により切り出し範囲に設定された領域の画像情報を、ネットワークを介してサーバシステムに送信する通信部１４０と、を含む。
【解決手段】 情報処理装置（第１の処理装置１００）は、撮像部（撮像装置１０）から撮像画像を取得する撮像画像取得部１１０と、取得した撮像画像に対して、サーバシステム（第２の処理装置２００）における画像処理対象領域に対応する切り出し範囲を設定する切り出し範囲設定部１２０と、撮像画像のうち、切り出し範囲設定部１２０により切り出し範囲に設定された領域の画像情報を、ネットワークを介してサーバシステムに送信する通信部１４０と、を含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、情報処理装置、サーバシステム、画像処理システム及びプログラム等に関する。
【背景技術】
【０００２】
ウェアラブルカメラは、身体に装着したカメラによる動画像の撮影を行う。従来のウェアラブルカメラは内蔵の記憶装置に動画を記録し、それをパーソナルコンピュータなどにファイルとして移動し、動画データを得ていた。しかし、ウェアラブルカメラには手ぶれ補正はなく、ダイナミックな動きそのものを記録することに重点が置かれている。
【０００３】
手ぶれ補正処理としては、例えば特許文献１に開示されているような電子手ぶれ補正の技術が知られている。また、従来型のカムコーダーでは、細かな手ぶれを補正する能力に加え、最近ではアクティブモードやダイナミックモードとして、歩行時のブレの補正まで出来る低周波、大振幅対応の機能が光学式、電子式共に導入されつつある。すなわち、従来の手ぶれ補正は、周波数の高い手ぶれ成分に加え、近年は歩行時の長周期ブレを補正するように構成されていた。
【０００４】
また、従来のウェアラブルカメラにおいては、画像処理はスタンドアローンで実施されるものであった。ウェアラブルカメラでは、従来のカメラで意識的に行っていた水平出し（画面の左右傾き、ロール軸）や身体を動かした時の腕を使ったカメラポジションの移動の緩和などが実施できない。その為、超広角のレンズを用いて広い範囲を撮影した上でのトリミングか、スタビライザーやパンチルトロール可能な雲台により、撮影フレーミングの調整や、ブレ補正を行う必要がある。
【０００５】
また、携帯電話のテレビ電話機能などは限られた帯域の中、低解像度の映像を圧縮した上で伝送することを行っていた。
【０００６】
コンシューマー向けのウェアラブルカメラを導入するためにはこれらを融合した上で、更に見やすい、シーン認識機能などにより自動編集しやすい高画質の映像を撮るための画像安定制御の技術が必要になる。例えば、特許文献２では、ネットワークを介して処理画像とブレ補正のための情報をサーバに送信し、サーバでブレ補正を実施する例が開示されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平５−３１６４０４号公報
【特許文献２】特開２００９−３０２７６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
携帯電話のテレビ電話機能等の動画像の伝送では、ネットワークの帯域が限られているため、画像の解像度を下げたり圧縮処理を行ったりしている。しかし、そのような処理は画質の劣化を招くことになる。
【０００９】
また、ウェアラブルカメラにおいては、ブレ（傾きによるブレと並進によるブレを含む）が発生しやすいため、当該ブレを補正する処理を行うことが望ましい。特に、撮像した画像を大画面の表示装置に表示する際には、ユーザにとって見やすい映像を提供するためにもブレ補正処理は必要となる。
【００１０】
特許文献２では、補正に必要な領域を削除すると補正漏れが生じることから、画像はすべてサーバに送付している。しかしながら、限られた通信帯域で大容量画像をそのまま送付することはネットワークインフラに多大な負荷を与えるため、好ましくない。
【００１１】
本発明の幾つかの態様によれば、撮像画像に対して切り出し範囲を設定し、設定した切り出し範囲の画像情報をサーバシステムに対して送信することでネットワークの帯域の圧迫等を抑止できる情報処理装置、サーバシステム、画像処理システム及びプログラム等を提供することができる。
【００１２】
また、本発明の幾つかの態様によれば、画像処理を行うサーバシステムに対して、ブレ補正処理に使用されるパラメータを付加した上で画像情報を送信することで、分散型等の画像処理を行う情報処理装置、サーバシステム、画像処理システム及びプログラム等を提供することができる。
【課題を解決するための手段】
【００１３】
本発明の一態様は、撮像部から撮像画像を取得する撮像画像取得部と、サーバシステムにおける画像処理対象領域に対応する切り出し範囲を、取得した前記撮像画像に対して設定する切り出し範囲設定部と、前記撮像画像のうち、前記切り出し範囲設定部により前記切り出し範囲に設定された領域の画像情報を、ネットワークを介して前記サーバシステムに送信する通信部と、を含む情報処理装置に関係する。
【００１４】
本発明の一態様では、撮像画像に対して切り出し範囲を設定し、切り出し範囲に設定された領域の画像情報をサーバシステムに対して送信する。よって、切り出し範囲を撮像画像よりも例えば狭い領域とすることで、ネットワークに対して送信される画像情報のデータサイズを小さくすることなどが可能になり、ネットワークの帯域を圧迫することによる影響等を抑止することができる。
【００１５】
また、前記切り出し範囲設定部は、前記撮像画像において生じるブレを補正する際に用いられるブレ補正処理領域を内包する領域を、前記切り出し範囲として設定してもよい。
【００１６】
これにより、ブレ補正処理領域を内包する領域をサーバシステムに対して送信することができるため、サーバシステムにおいてブレ補正処理を行うことが可能になる。
【００１７】
また、前記撮像部の傾きブレ補正処理に使用される傾きブレ情報を取得する情報取得部を含み、前記切り出し範囲設定部は、前記傾きブレ情報に基づいて、前記切り出し範囲を設定してもよい。
【００１８】
これにより、傾きブレを補正することが可能な切り出し範囲を設定することが可能になる。
【００１９】
また、前記撮像部のモーションセンサからのセンサ情報を取得するセンサ情報取得部を含み、前記情報取得部は、前記センサ情報に基づいて前記傾きブレ情報を取得し、前記切り出し範囲設定部は、前記傾きブレ情報に基づいて、前記切り出し範囲を設定してもよい。
【００２０】
これにより、センサ情報を用いて傾きブレ情報を取得し、切り出し範囲を設定することが可能になる。
【００２１】
また、前記情報取得部は、前記撮像画像における被写体の被写体傾き情報に基づいて前記傾きブレ情報を取得し、前記切り出し範囲設定部は、前記傾きブレ情報に基づいて、前記切り出し範囲を設定してもよい。
【００２２】
これにより、被写体の情報を用いて傾きブレ情報を取得し、切り出し範囲を設定することが可能になる。
【００２３】
また、前記通信部は、前記切り出し範囲に設定された領域の前記画像情報に、前記傾きブレ情報を付加して前記サーバシステムに対して送信してもよい。
【００２４】
これにより、画像情報に付加して、切り出し範囲設定時のパラメータを送信することが可能になるため、サーバシステムにおける画像処理を容易にすることができる。
【００２５】
また、前記撮像部の並進ブレ補正処理に使用される並進ブレ情報を取得する情報取得部を含み、前記切り出し範囲設定部は、前記並進ブレ情報に基づいて、前記切り出し範囲を設定してもよい。
【００２６】
これにより、並進ブレを補正することが可能な切り出し範囲を設定することが可能になる。
【００２７】
また、前記撮像部のモーションセンサからのセンサ情報を取得するセンサ情報取得部を含み、前記並進ブレ情報取得部は、前記センサ情報に基づいて前記並進ブレ情報を取得し、前記切り出し範囲設定部は、前記並進ブレ情報に基づいて、前記切り出し範囲を設定してもよい。
【００２８】
これにより、センサ情報を用いて並進ブレ情報を取得し、切り出し範囲を設定することが可能になる。
【００２９】
また、前記情報取得部は、前記撮像画像における被写体の被写体並進情報に基づいて前記並進ブレ情報を取得し、前記切り出し範囲設定部は、前記並進ブレ情報に基づいて、前記切り出し範囲を設定してもよい。
【００３０】
これにより、被写体の情報を用いて並進ブレ情報を取得し、切り出し範囲を設定することが可能になる。
【００３１】
また、前記切り出し範囲設定部は、前記並進ブレ補正処理を行わない場合の第１の切り出し範囲に比べて、前記並進ブレ補正処理を行う場合の第２の切り出し範囲を、前記並進ブレ情報により特定される並進ブレ量に対応する分だけ広い領域に設定してもよい。
【００３２】
これにより、並進ブレ補正処理を行う場合には、並進ブレ補正処理を行わない場合に比べて並進ブレ量だけ広い領域を設定することで、並進ブレに対応可能な切り出し範囲を設定することができる。
【００３３】
また、前記通信部は、前記切り出し範囲に設定された領域の前記画像情報に、前記並進ブレ情報を付加して前記サーバシステムに対して送信してもよい。
【００３４】
これにより、画像情報に付加して、切り出し範囲設定時のパラメータを送信することが可能になるため、サーバシステムにおける画像処理を容易にすることができる。
【００３５】
また、前記切り出し範囲設定部は、前記撮像部の並進ブレが、高周波ブレによるものか、前記高周波ブレよりも低い周波数を有する低周波ブレによるものかを判定するためのブレ判定情報を取得し、取得した前記ブレ判定情報により前記並進ブレが前記低周波ブレによるものであると判定された場合には、前記高周波ブレによるものであると判定された場合に比べて広い領域を前記切り出し範囲として設定してもよい。
【００３６】
これにより、並進ブレが低周波ブレか高周波ブレかに応じて、適切な大きさの領域を切り出し範囲に設定することが可能になる。
【００３７】
また、前記サーバシステムは、前記通信部から受信した前記画像情報に基づいて前記ブレ判定情報を生成し、前記切り出し範囲設定部は、前記サーバシステムが生成した前記ブレ判定情報を、前記ネットワークを介して受信してもよい。
【００３８】
これにより、高周波ブレか低周波ブレかを判定するためのブレ判定情報をサーバシステムにおいて生成し、生成されたブレ判定情報を受信することで情報処理装置において切り出し範囲を設定することが可能になる。
【００３９】
また、前記切り出し範囲設定部は、前記撮像画像において生じる歪みを補正する際に用いられる歪み補正処理領域を内包する領域を、前記切り出し範囲として設定してもよい。
【００４０】
これにより、ブレだけでなく、歪みについても補正可能な切り出し範囲を設定することが可能になる。
【００４１】
また、前記撮像画像の前記歪みは、前記撮像部の撮像素子におけるローリングシャッターによる歪みであってもよい。
【００４２】
これにより、撮像素子におけるローリングシャッターによる歪みを補正可能な切り出し範囲を設定することが可能になる。
【００４３】
また、前記撮像画像の前記歪みは、前記撮像部の撮像素子における歪曲収差による歪みであってもよい。
【００４４】
これにより、撮像素子における歪曲収差による歪みを補正可能な切り出し範囲を設定することが可能になる。
【００４５】
本発明の他の態様は、ネットワークを介して情報処理装置と通信を行う通信部と、画像処理を行う画像処理部と、を含み、前記通信部は、前記情報処理装置が、撮像部から取得した撮像画像に対して切り出し範囲を設定し、前記切り出し範囲に対応する領域の画像情報と、前記切り出し範囲の設定に用いられたパラメータとを、前記ネットワークを介して送信した場合に、送信された前記画像情報と前記パラメータとを受信し、前記画像処理部は、受信した前記パラメータに基づいて、受信した前記画像情報に対する補正処理を行うサーバシステムに関係する。
【００４６】
本発明の他の態様では、上述してきた情報処理装置から、切り出し範囲に設定された領域の画像情報と、切り出し範囲の設定に用いられたパラメータを受信することで、画像情報に対して補正処理を行うことができるサーバシステムを実現することが可能になる。よって、情報処理装置とサーバシステムとが連携し、補正処理を行うことが可能になる。
【００４７】
また、前記画像情報に基づいて、前記画像情報におけるブレが高周波ブレによるものか、前記高周波ブレよりも低い周波数を有する低周波ブレによるものかを判定するための情報であるブレ判定情報を生成するブレ判定情報生成部を含み、前記通信部は、生成された前記ブレ判定情報を前記ネットワークを介して前記情報処理装置に対して送信してもよい。
【００４８】
これにより、ブレ判定情報をサーバシステムにおいて生成することが可能になる。
【００４９】
本発明の他の態様は、情報処理装置と、サーバシステムと、を含み、前記情報処理装置は、撮像部から撮像画像を取得する撮像画像取得部と、前記サーバシステムにおける画像処理対象領域に対応する切り出し範囲を、取得した前記撮像画像に対して設定する切り出し範囲設定部と、前記撮像画像のうち、前記切り出し範囲設定部により前記切り出し範囲に設定された領域の画像情報を、ネットワークを介して前記サーバシステムに送信する第１の通信部と、を含み、前記サーバシステムは、前記撮像画像に対して前記情報処理装置が設定した前記切り出し範囲に対応する領域の画像情報を、前記情報処理装置からネットワークを介して受信するとともに、前記切り出し範囲の設定に用いられたパラメータを受信する第２の通信部と、前記パラメータに基づいて、前記画像情報に対する補正処理を行う画像処理部と、を含む画像処理システムに関係する。
【００５０】
本発明の他の態様では、情報処理装置とサーバシステムとが連係して動作することにより画像補正処理を行うことが可能な画像処理システムを実現することができる。
【００５１】
本発明の他の態様は、撮像部から撮像画像を取得する撮像画像取得部と、取得した前記撮像画像に対してブレ補正処理を行う際に用いられるパラメータを設定するパラメータ設定部と、前記撮像画像の画像情報及び前記パラメータを、ネットワークを介してサーバシステムに送信する通信部と、を含む情報処理装置に関係する。
【００５２】
本発明の他の態様では、画像情報にパラメータを付加してサーバシステムに対して送信することにより、サーバシステムにおける画像処理を容易にする情報処理装置を実現することが可能になる。
【００５３】
本発明の他の態様は、撮像部から撮像画像を取得する撮像画像取得部と、サーバシステムにおける画像処理対象領域に対応する切り出し範囲を、取得した前記撮像画像に対して設定する切り出し範囲設定部と、前記撮像画像のうち、前記切り出し範囲設定部により前記切り出し範囲に設定された領域の画像情報を、ネットワークを介して前記サーバシステムに送信する通信部として、コンピュータを機能させるプログラムに関係する。
【図面の簡単な説明】
【００５４】
【図１】本実施形態のシステム構成例。
【図２】第１の実施形態の詳細なシステム構成例。
【図３】傾きブレ補正を行う場合の切り出し範囲の設定手法を説明する図。
【図４】並進ブレ補正を行う場合の切り出し範囲の設定手法を説明する図。
【図５】図５（Ａ）〜図５（Ｆ）は情報処理装置及びサーバシステムにおける画像処理の流れを説明する図。
【図６】第２の実施形態の詳細なシステム構成例。
【図７】図７（Ａ）〜図７（Ｄ）は並進ブレの特性に応じて切り出し範囲を変化させる手法を説明する図。
【図８】第３の実施形態の詳細なシステム構成例。
【図９】図９（Ａ）〜図９（Ｄ）は被写体の情報を用いて切り出し範囲を変化させる手法を説明する図。
【図１０】図１０（Ａ）は歪みがない場合の被写体と切り出し範囲の図、図１０（Ｂ）はローリングシャッター歪みがある場合の被写体と切り出し範囲の図。
【図１１】歪みにより情報の欠損が起こる例。
【図１２】ローリングシャッター歪みを考慮した切り出し範囲の例。
【図１３】図１２の切り出し範囲に対して補正処理を行った画像の例。
【図１４】歪曲収差による歪みを考慮した切り出し範囲の例。
【図１５】ローリングシャッター歪み及び歪曲収差による歪みを考慮した切り出し範囲の例。
【図１６】停車中の自動車を撮影した例。
【図１７】走行中の自動車を撮影した場合の歪みを考慮した切り出し範囲の例。
【図１８】図１８（Ａ）〜図１８（Ｅ）は低周波ブレ及び高周波ブレを説明する図。
【図１９】電子式ブレ補正の手法を説明する図。
【発明を実施するための形態】
【００５５】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【００５６】
１．本実施形態の手法
まず、本実施形態の手法について説明する。電子式ブレ補正として、図１９に示すような処理が知られている。これは表示画像に比べて大きい画像を取得しておき、取得した画像のうち適切な領域をトリミングする（例えばＡ１に示した領域をトリミングする）。そして、そのトリミング領域を被写体の動きに合わせて適切に設定することで、表示画像上では被写体が動いていないように見せるものである。
【００５７】
ウェアラブルカメラのようにユーザが身につける撮像装置の場合には、手で把持するものに比べて、水平を保つことが難しく、ブレの程度も大きくなりやすい。そのため、見やすい自然な画像（動画像）を提供する上で、上述したブレ補正処理を行うことが重要になってくる。
【００５８】
しかし、ウェアラブルカメラ（及びそれに付随するウェアラブルデバイス）は身につけるという特性上、小型化することが望ましく、そのため構成が簡素なものに限定されることが想定される。よって、電子式ブレ補正処理のような負荷のかかる処理をウェアラブルデバイス内で行うことが難しいケースも考えられる。
【００５９】
１つの解決策として、図１に示したように、ウェアラブルカメラで取得した画像をネットワークに対して送信し、クラウドネットワーク等を用いて画像処理を行う手法が考えられる。このようにすれば、ウェアラブルデバイス（図１ではＨＭＤ）はネットワークとの通信を行う通信部を有すればよく、負荷のかかる処理を行う必要が無くなるため、構成を簡素にすることができる。
【００６０】
ところが、処理を分散させる場合には新たな問題も生じる。ネットワークの帯域には制限があるため、ウェアラブルカメラで取得した画像を全てネットワークに送信した場合に、ネットワークの帯域を圧迫する可能性があるという問題である。
【００６１】
そこで本出願人は以下の手法を提案する。図１９に示したように、電子式ブレ補正を行うに当たっては表示画像よりも大きい画像が取得されている。そのうち、実際にユーザに対して提示されるのは、図１９のＡ１に示した領域だけである。傾きブレの傾き角度や、並進ブレのブレ量の程度等の情報を用いることで、Ａ１を含む領域は特定可能であるため、画像処理部（例えば画像処理クラウドネットワーク）での処理対象となる領域を撮像画像全体に比べ狭い領域に限定し、ネットワークに対して送信する画像情報のデータサイズを小さくすることは可能である。つまり、図５（Ｂ）を用いて後述するように、撮像画像（取得画像）Ｆ０に対して、表示に必要な領域はＦＦである。センサ情報等から得られる傾きの角度や並進ブレ量等を用いて、少なくともＦＦを含む領域であるＦ１（切り出し範囲）を設定し、Ｆ０ではなくＦ１をネットワークに対して送信する。このようにすることで、ネットワークの帯域を圧迫することによる影響を抑止することができる。また、ウェアラブルデバイスはブレ補正処理そのものではなく、ブレ補正処理に必要なおおまかな領域を特定し切り出すだけでよいため、処理の負荷は軽く、簡素な構成により実現可能となる。
【００６２】
以下、第１〜第３の実施形態及び変形例について説明する。第１の実施形態では、撮像画像におけるブレを傾きブレと並進ブレに分けて、それぞれに基づいて、切り出し範囲を設定する手法について述べる。第２の実施形態では、並進ブレの周波数情報を用いて、並進ブレが高周波ブレか低周波ブレかという判断を行って、切り出し範囲の設定に利用する手法について述べる。第３の実施形態では、撮像画像内の被写体の情報を用いる手法について述べる。変形例では、傾きブレ及び並進ブレとは別に、画像の歪みを考慮した上で、歪みに基づいた切り出し範囲の設定手法について述べる。
【００６３】
２．第１の実施形態
図１に本実施形態にかかる画像処理システムの第１の実施形態を示す。画像処理システムは、撮像装置と、第１の処理装置（狭義には情報処理装置）と、第２の処理装置（狭義にはサーバシステム）からなる。ここでは、第１の処理装置としてＨＭＤ（Head Mounted Display、頭部装着型表示装置）の例を示す。そして、撮像装置はＨＭＤに取り付けられたカメラであり、第２の処理装置はクラウドネットワークであるものとする。ただし、第１の処理装置及び第２の処理装置は、ＨＭＤ及びクラウドネットワークに限定されるものではない。なお、第１の処理装置として表示部を有するＨＭＤの例を挙げているが、第２の処理装置における画像処理結果を、第１の処理装置を保有するユーザに対してフィードバックする必要がなければ、第１の処理装置はＨＭＤのような表示部を有する装置でなくてもよい。
【００６４】
図２を用いてシステム構成の詳細について説明する。撮像装置１０は、撮像モジュール１２と、基本画像処理エンジン１４と、モーションセンサ１６とを含む。撮像モジュール１２は、結像のための光学系、光量調整のためのシャッターや絞り、ＮＤフィルターなど、ＣＣＤや、ＣＭＯＳなどの撮像素子で構成される。そして、基本画像処理エンジン１４は、撮像モジュール１２で取得された撮像画像に対して、映像信号としてのＮＴＳＣやデジタル画像伝送により出力するための映像処理を行う。撮像装置１０は、デジタルビデオカメラやデジタルスチルカメラと同様の構成としてもよい。また、モーションセンサ１６は撮像装置の動きに関する情報を取得する。例えば、モーションセンサ１６は加速度センサや角速度センサ、地磁気センサ等であってもよい。
【００６５】
撮像装置１０からの動画ストリームは第１の処理装置１００に入力される。第１の処理装置１００は入力映像をデジタル変換し、コンピュータプログラムを実装した組み込み計算機で処理を実施するよう構成されていてもよい。第１の処理装置１００は、撮像画像取得部１１０と、切り出し範囲設定部１２０と、画像切り出し部１２２と、情報取得部１３０と、通信部１４０と、センサ情報取得部１５０と、表示部１６０とを含む。
【００６６】
撮像画像取得部１１０は、撮像装置１０のからの動画ストリームを取得する。切り出し範囲設定部１２０は、撮像画像取得部１１０が取得した撮像画像に対して、切り出し範囲を設定する。切り出し範囲の詳細及び設定手法については後述する。画像切り出し部１２２は、切り出し範囲設定部１２０で設定された切り出し範囲に従って、撮像画像をトリミングし、通信部１４０に送る。情報取得部１３０は、ブレに関する情報を取得する。ブレに関する情報とは、例えば傾きブレ情報や並進ブレ情報等であり、本実施形態においては、センサ情報取得部１５０が取得したセンサ情報に基づいて取得される。通信部１４０は、画像切り出し部１２２で切り出された画像情報及び、切り出し範囲の設定の際に用いられたパラメータを、無線ＬＡＮや有線ＬＡＮなどのネットワーク層を介して第２の処理装置２００に対して送信する。センサ情報取得部１５０は、撮像装置１０に設けられたモーションセンサ１６からのセンサ情報を取得する。表示部１６０は、種々の画像を表示する。本実施形態においては、第２の処理装置２００において画像処理（ブレ補正処理）が行われた後の画像を、通信部１４０を介して取得し表示することになる。また第１の処理装置１００は、処理や伝送待ちで画像信号やセンサ信号を一時的に記憶するバッファメモリを持つように構成してもよい。
【００６７】
第１の処理装置１００の通信部１４０から伝送された信号は、第２の処理装置２００で処理される。第２の処理装置２００は、通信部２１０と、画像/センサバッファ２２０と、画像処理部２３０とを含み、処理された動画ストリームはデータベース２４０に格納される。
【００６８】
通信部２１０は、無線ＬＡＮや有線ＬＡＮなどのネットワーク層を介して第１の処理装置１００との通信を行う。具体的には、切り出し範囲に応じてトリミングされた画像情報と、切り出し範囲設定時のパラメータ（例えばセンサ情報）とを受信する。また、画像処理部２３０において処理された画像情報を第１の処理装置１００に対して送信する。画像／センサバッファ２２０は、通信部２１０が受信した画像情報及びセンサ情報（パラメータ）を保存するバッファである。画像処理部２３０は、画像処理としてブレ補正処理を行う。画像処理部２３０で行われる具体的な処理については、図５（Ｄ）〜図５（Ｆ）等を用いて後述する。なお、画像処理部２３０での処理後の画像は、第１の処理装置１００に対して送信されるものとしたがこれに限定されるものではなく、例えばネットワーク上のストレージに保存されるようにしてもよい。また、第２の処理装置２００は、プログラムとして実装されてもよく、またネットワーク上の分散処理システムなどで構成されてもよい。
【００６９】
次に第１の処理装置１００の切り出し範囲設定部１２０において行われる切り出し範囲の設定手法について説明する。切り出し範囲の設定は、傾きによるブレと、並進でのブレとの２つのブレに対応する必要があるが、ここでは傾きによるブレの補正から説明するものとする。
【００７０】
本実施形態では、画像安定化の処理の例として第１の処理装置１００は、加速度センサからの重力方向の情報を取得し、それに基づいて、第２の処理装置２００で実施するカメラのロール軸周りの画像の水平出し補正を行う。
【００７１】
電子式ブレ補正では、図１９に示したように表示画像に対して大きい画像を取得しておき、取得画像のなかで表示画像として用いる領域を、撮像装置１０と被写体との相対的な動きに基づいて決定することで、あたかも被写体が動いていない（ぶれていない）ように見せるものである。ここで表示画像として用いる領域の大きさは、当然表示画像の大きさに基づいて決定されるものであり、図３においては初期画像切り出し範囲として示したものに対応する。ここでは、傾きによるブレが発生していることを前提としているため、本来重力方向を基準として水平になっているはずの領域（初期画像切り出し範囲）が、傾いてしまっている（図３における「傾いた場合の画像切り出し範囲」に相当）。つまり、傾き補正処理を行うためには、「傾いた場合の画像切り出し範囲」を少なくとも含む領域を切り出し範囲に設定する必要がある。
【００７２】
本実施形態においては、処理を簡単にするため、重力方向に対して水平になっている長方形を切り出し範囲に設定する。よって、「傾いた場合の画像切り出し範囲」を包含する長方形を切り出し範囲として設定すればよい。ここで、ネットワークの帯域を圧迫しないことを目的に切り出し範囲の設定を行うことに鑑みれば、ただ「傾いた場合の画像切り出し範囲」を包含する長方形を設定するのではなく、そのような条件を満たす長方形のうち最小のものを設定する必要がある。これが図３に示した最小切り出し範囲となる。
【００７３】
傾きによるブレがρである場合を例にとって、最小切り出し範囲の設定手法について説明する。画像の表示範囲の中心を原点とし、図３に示すように頂点をＡ、Ｂとする。縦横の表示範囲のピクセル量を（Ｕ，Ｖ）ピクセルと定義すると、表示範囲の原点から頂点までの距離ｒは下式（１）に示す値となる。
【数１】
【００７４】
傾きによるブレρ[ｄｅｇ]だけ、ロール軸周りに逆方向に画像切り出し範囲を回転させることで回転ブレを補正する。このとき、伝送する画像切り出し範囲は表示範囲に外接する方形を最小切り出し範囲（Ｕ'ｍｉｎ，Ｖ'ｍｉｎ）としてこの範囲以上の大きさの領域を切り出すことになる。Ａ’及びＢ’の座標からＵ’ｍｉｎ及びＶ’ｍｉｎは下式（２）及び（３）により求められる。
【数２】
【数３】
【００７５】
画像の鉛直方向と、重力方向が一致している状態で安定していれば、大画面テレビでの視聴を行う時に不快なロール軸周りのブレがなく、安定して映像を視聴することが出来る。しかしながら、頭部装着型のウェアラブルカメラのように体動に応じてカメラも大きく動く場合には、映像酔いを起こしたりする。これを防ぐには、ロール軸周りのブレ補正を行う必要がある。
【００７６】
図３に示すように基準位置からの重力センサのカメラ光軸周りのズレ角度をρとしているので、この画像のピクセル縦横比から決まる原点から頂点への直線がｕ軸となす角αが算出でき、これと、ρを用いることで傾いた撮像を行っている時に鉛直方向画像のｖ方向になるように画像切り出しを行う領域を上式（１）〜（３）に基づいて算出することが出来る。
【００７７】
実際にはこれに並進のブレ、パンやチルト動作により生じる単調増加、減少の画像の移動が存在するので、第１の処理装置で切り出す画像のサイズは、これらを考慮したΔＵ、ΔＶに応じて追加した範囲の映像を切り出す。
【００７８】
続いて並進のブレ補正について説明する。並進のブレ補正は、一般的な電子ブレ補正を用いるが、その為に必要となる補正代としてΔＵ、ΔＶをβ倍した領域を持つ画像切り出しを第１の処理装置１００では行うことになる。ΔＵ、ΔＶは加速度センサから出力される並進成分から算出されており、これを基に第１の処理装置１００の実切り出し範囲を決定する。βの値は電子ブレ補正の安全率ともいえる倍率であり電子ブレ補正をぎりぎり行うβ＝１から、挙動を安定化し、画像切れを防ぐためにβ=２程度の値を持つのが好ましい。この関係を図４に示す。
【００７９】
以上のように、傾きによるブレ及び並進のブレに基づいて切り出された画像情報が、通信部１４０を介して第２の処理装置２００に送信される。画像を切り出して転送することで、通信の伝送量を、すべての映像を最大のサイズで送信するよりも少ない容量にすることが可能になる。
【００８０】
画像の切り出しは、基準画像のピクセルに対して単純に縦、横の配列座標に沿って方形に切り出すことが、画像処理の負荷を減らすことが出来るため望ましい。更に撮像モジュールがＣＭＯＳセンサの場合は、センサからの読み出しそれ自体を読み出し開始アドレス、終了アドレスを指定することで方形に切り取られた映像信号として取り出すことも出来るというメリットもある。
【００８１】
ここで、切り出し位置データとして原点の位置Ｏの座標遷移やセンサで検出されたρの値、また、それに伴い算出されたＡ’、Ｂ'の座標データ、第１の処理装置１００で切り出す座標の値、並進ブレの補正幅として付加したΔＵ，ΔＶの値はパラメータ（メタデータ）として映像データと共に、第２の処理装置２００に送られる。
【００８２】
第２の処理装置２００では、第１の処理装置１００で切り出された画像とパラメータ（切り出し位置データ等）に基づいて、並進ブレ成分によるブレと回転切り出しを行う画像ピクセルの値を読み出し、最終的な切り出し画像のピクセル値を算出する。このとき、ピクセル値は補完を必要とするので、適宜ニアバイピクセル、バイキュービック処理などの画素補完技術を用いて、最終的な切り出し画像を生成する。このようにして生成された画像を連続的につなげると、傾きブレで不安定だった画像が垂直の安定した画像になる。
【００８３】
また、時系列的に並んだ例えば数秒間の複数フレームを用いた低周波のブレを特徴点の移動などから画像処理で算出し、これを第１の処理装置１００に通信部２１０を介して送り、原点位置の座標遷移にフィードバックしてもよい。
【００８４】
更に第２の処理装置２００で、切り出し範囲を並進移動させる電子手振れ補正を用いて細かなブレを補正してもよいし、フレーム内でぶれている画像を、デブラーフィルタを用いて先鋭化させてもよい。
【００８５】
次に、第２の処理装置２００の画像処理部２３０で行われる画像処理について説明する。具体的には、補正のための画像の切り出し手順に応じた画像の切り出し範囲の遷移について図５（Ａ）〜図５（Ｆ）を用いて説明する。
【００８６】
まず、図５（Ａ）のＦ０は撮像素子の有効画素全体である。また、傾きの補正及び並進ブレ補正を行って最終的に表示・記録したいフレームは中央部のＦＦという方形で示す。
【００８７】
まず、第１の処理装置１００では、ＦＦに外接し、かつ並進ブレの補正代を持ったフレーム（図５（Ｂ）のＦ１）を決定する。画像切り出し部１２２では、このＦ１を切り出して、パラメータを付加して第２の処理装置２００に送信される。このことを表したのが図５（Ｃ）である。
【００８８】
第２の処理装置２００の画像処理部２３０では、Ｆ１に対して電子ブレ補正が行われＦ２が切り出される（図５（Ｄ））。この中で内接するρ回転したフレームＦＦ（図５（Ｅ））が切り出され、これを回転することで最終的な画像ＦＦＦ（図５（Ｆ））を出力することになる。
【００８９】
以上の本実施形態では、図２に示したように、情報処理装置（広義には第１の処理装置１００）は、撮像部（撮像装置１０）から撮像画像を取得する撮像画像取得部１１０と、サーバシステム（広義には第２の処理装置２００）における画像処理対象領域に対応する切り出し範囲を、撮像画像に対して設定する切り出し範囲設定部１２０と、撮像画像のうち切り出し範囲に設定された領域の画像情報を、ネットワークを介してサーバシステムに送信する通信部１４０と、を含む。
【００９０】
ここで、撮像画像は撮像素子によって結像される画像全体を指し、図５（Ａ）のＦ０に相当する。切り出し範囲とは、切り出し範囲設定部１２０において設定される領域であり、図５（Ｂ）のＦ１に相当する。画像処理対象領域とは、サーバシステムの画像処理部２３０における処理の際に用いられる領域であり、図５（Ｃ）のＦ１に相当する。ここでは、切り出し範囲と画像処理対象領域とは一致するものとしたがこれに限定されるものではない。
【００９１】
これにより、撮像画像に対して切り出し範囲を設定し、切り出し範囲として設定された領域の画像情報を、ネットワークを介してサーバシステムに送信する情報処理装置を実現することが可能になる。よって、撮像画像を取得する情報処理装置（第１の処理装置１００）と実際に画像処理を行うサーバシステム（第２の処理装置２００）とを分散させて配置することが可能になる。また、情報処理装置とサーバシステムはネットワークで接続されるため、切り出し範囲を設定することにより、ネットワークに対して送信される情報の量を削減することが可能になり、ネットワークの帯域を圧迫することによる影響を抑止することも可能となる。
【００９２】
また、切り出し範囲設定部１２０は、撮像画像において生じるブレを補正する際に用いられるブレ補正処理領域を内包する領域を切り出し範囲として設定してもよい。
【００９３】
ここで、ブレ補正処理領域とは、図１９におけるＡ１等の領域のことであり、図５（Ａ）でいえばＦＦに相当する。なお図３における「傾いた場合の画像切り出し範囲」のことでもある。
【００９４】
これにより、切り出し範囲はブレ補正領域を内包した領域とすることができる。電子式ブレ補正の原理より、ブレ補正領域を画像処理部２３０に送信することができればブレ補正処理を行えるのであるから、ブレ補正領域を内包した領域があれば、ブレ補正を行うことができる。ここで、切り出し範囲はブレ補正領域と一致してもよいが、処理を簡単にするために傾いていない長方形を設定したり、並進ブレによる補正代を用意したりすることで図５（Ｂ）のＦ１に示した領域のようになることは上述したとおりである。
【００９５】
また、情報処理装置（第１の処理装置１００）は、図２に示したように、撮像部の傾きブレ補正処理に使用される傾きブレ情報を取得する情報取得部１３０を含んでもよい。そして、切り出し範囲設定部１２０は傾きブレ情報に基づいて切り出し範囲を設定する。
【００９６】
これにより、傾きによるブレに対応することが可能になる。通常の手に把持して使用するデジタルビデオカメラ等においては、ユーザは自然に重力方向に対して水平に撮影しようとする。そのため、ブレ補正処理が強くかからなくても映像を見た場合に、不自然に感じることは少ない。しかし、ウェアラブルカメラ（例えば頭部に装着される）においては、水平を保った撮影は困難であり、特に撮影した映像を大画面の表示装置に表示した場合等に視聴者に違和感を与えやすい。よって、傾きによるブレを補正することで、見る人にとって自然な映像を提供することが望ましい。
【００９７】
また、情報処理装置（第１の処理装置１００）は、図２に示したように、撮像部のモーションセンサ１６からのセンサ情報を取得するセンサ情報取得部１５０を含んでもよい。そして情報取得部はセンサ情報に基づいて傾きブレ情報を取得し、切り出し範囲設定部１２０は、傾きブレ情報に基づいて切り出し範囲を設定する。
【００９８】
これにより、モーションセンサ１６のセンサ情報に基づいて切り出し範囲を設定することが可能になる。重力方向に対する傾きは加速度センサや角速度センサのセンサ値を用いることで容易に計測することができる。よって、画像処理等の手法を用いて傾きを検出する場合に比べて処理を簡単にすることが可能になる。
【００９９】
また、情報処理装置の通信部１４０は、切り出し範囲に設定された領域の画像情報に、傾きブレ情報を付加して、サーバシステムに対して送信してもよい。
【０１００】
これにより、サーバシステムにおける画像処理を容易に行うことが可能になる。図５（Ｃ）に示したように、第１の処理装置から送信される画像情報はＦ１に相当する切り出し範囲の領域となる。つまり、Ｆ１だけ送信されてもサーバシステムは必須部分と余剰部分とを判断しなければならず、例えば画像の被写体認識等の重い処理が必要となってしまう。その点、パラメータ（メタデータ）として傾きブレ情報（例えば回転角ρ）が同時に送信されれば、図５（Ｅ）のＦ２からＦＦを特定することは容易であるし、ＦＦから図５（Ｆ）のＦＦＦに変形することも容易である。
【０１０１】
また、情報処理装置（第１の処理装置１００）は、図２に示したように、撮像部の並進ブレ補正処理に使用される並進ブレ情報を取得する情報取得部１３０を含んでもよい。そして、切り出し範囲設定部１２０は並進ブレ情報に基づいて切り出し範囲を設定する。
【０１０２】
これにより、並進ブレに対応することが可能になる。ユーザの手ぶれ（ウェアラブルカメラであれば装着している部位のブレ）により、並進方向におけるブレは必ずと言っていいほど発生してしまう。その場合、図３に示したように、回転によるブレしか考慮しないでいると、並進ブレの影響により必要な情報が欠損してしまう可能性が生じる。よって図４に示したように、並進ブレの補正のための補正代（図４におけるβΔＵとβΔＶ）を用意しておくことが望ましい。
【０１０３】
また、情報処理装置（第１の処理装置１００）は、図２に示したように、撮像部のモーションセンサ１６からのセンサ情報を取得するセンサ情報取得部１５０を含んでもよい。そして情報取得部はセンサ情報に基づいて並進ブレ情報を取得し、切り出し範囲設定部１２０は、並進ブレ情報に基づいて切り出し範囲を設定する。
【０１０４】
これにより、モーションセンサ１６のセンサ情報に基づいて切り出し範囲を設定することが可能になる。並進ブレは加速度センサや角速度センサのセンサ値を用いることで容易に計測することができる。よって、画像処理等の手法を用いて並進ブレを検出する場合に比べて処理を簡単にすることが可能になる。
【０１０５】
また、切り出し範囲設定部１２０は、並進ブレ補正処理を行わない場合の第１の切り出し範囲に比べて、並進ブレ補正処理を行う場合の第２の切り出し範囲を、並進ブレ情報により特定される並進ブレ量に対応する分だけ広い領域に設定してもよい。
【０１０６】
これにより、第１の切り出し範囲に対する第２の切り出し範囲の拡大幅を、並進ブレ情報に基づいて適切に設定することが可能になる。具体的には、並進ブレ情報から特定される並進ブレ量ΔＵとΔＶを求める。ΔＵ、ΔＶをそのまま用いて拡大幅を決定してもよいが、本実施形態においては、βΔＵ及びβΔＶを用いることで、補正代に柔軟性を持たせ、必要に応じた大きさの切り出し範囲を設定可能にしている。
【０１０７】
また、情報処理装置の通信部１４０は、切り出し範囲に設定された領域の画像情報に、並進ブレ情報を付加してサーバシステムに送信してもよい。
【０１０８】
これにより、サーバシステムにおける画像処理を容易に行うことが可能になる。傾きブレの場合と同様に、切り出し範囲に対応する領域の画像情報だけ送信されても、サーバシステムは必須部分と余剰部分とを判別することができない。そこで、並進ブレ量ΔＵ及びΔＶを送信することで、図５（Ｄ）のＦ１からＦ２を容易に特定することが可能になる。なお、ΔＵ、ΔＶだけでなく、パラメータβも同時に付加して送信することが望ましい。
【０１０９】
また、以上の本実施形態は、撮像部（撮像装置１０）から取得した撮像画像に対して情報処理装置（第１の処理装置１００）が設定した切り出し範囲に対応する領域の画像情報を、情報処理装置からネットワークを介して受信するとともに、切り出し範囲の設定に用いられたパラメータを受信する通信部２１０と、受信したパラメータに基づいて画像情報に対して補正処理を行う画像処理部２３０と、を含むサーバシステム（第２の処理装置２００）に関係する。
【０１１０】
これにより、上述してきた情報処理装置と連動して動作するサーバシステムを実現することが可能になる。サーバシステムは、切り出し範囲に対応する領域の画像情報と、パラメータ（メタデータ）を用いて、画像情報に対してブレ補正処理を行う。このようなサーバシステムを実現することにより、情報処理装置側では、負荷のかかる画像処理を行う必要がなくなる。よって、情報処理装置の構成を簡素にすることが可能になり、特に情報処理装置がＨＭＤのようなウェアラブルデバイスの場合には効果を発揮する。
【０１１１】
また、以上の本実施形態は、上述した情報処理装置とサーバシステムを含む画像処理システムに関係する。
【０１１２】
これにより、情報処理装置とサーバシステムとを連係して動作させ、情報処理装置側では切り出し範囲の設定のみを行い、負荷のかかる画像処理（ブレ補正処理）はサーバシステム側で行うような画像処理システムを実現することができる。ネットワーク送信の前処理として情報処理装置側で切り出し範囲に基づく切り出し処理を行うため、ネットワークに送信される情報の量を削減することができ、ネットワークの帯域を圧迫することを抑止できる。
【０１１３】
また、以上の本実施形態は、撮像部（撮像装置１０）から撮像画像を取得する撮像画像取得部１１０と、取得した撮像画像に対してブレ補正処理を行う際に用いられるパラメータを設定するパラメータ設定部と、撮像画像の画像情報及びパラメータを、ネットワークを介してサーバシステムに送信する通信部１４０と、を含む情報処理装置に関係する。
【０１１４】
これにより、切り出し範囲の設定を行わずに、パラメータの送信を行う情報処理装置を実現することが可能になる。情報処理装置とサーバシステムの連動動作において、情報処理装置側で切り出し処理を行う場合について説明してきたが、情報処理装置では切り出しを行わず、パラメータの検出と送信のみを行うようにしてもよい。このようにすることで、上述してきた例に比べて、より情報処理装置側の処理負荷を軽くすることが可能になる。
【０１１５】
また、以上の本実施形態は、撮像部（撮像装置１０）から撮像画像を取得する撮像画像取得部１１０と、サーバシステム（広義には第２の処理装置２００）における画像処理対象領域に対応する切り出し範囲を、撮像画像に対して設定する切り出し範囲設定部１２０と、撮像画像のうち切り出し範囲に設定された領域の画像情報を、ネットワークを介してサーバシステムに送信する通信部１４０としてコンピュータを機能させるプログラムに関係する。
【０１１６】
これにより、上述してきた情報処理装置で行われる処理を、プログラムによりソフトウェア的に実現することが可能になる。そして、上記プログラムは、情報記憶媒体に記録される。ここで、情報記憶媒体としては、ＤＶＤやＣＤ等の光ディスク、光磁気ディスク、ハードディスク（ＨＤＤ）、不揮発性メモリーやＲＡＭ等のメモリーなど、情報処理装置等によって読み取り可能な種々の記録媒体を想定できる。例えば、ＰＣ等の機器によって読み取り可能な種々の記録媒体にプログラムが記憶され、ＰＣ等の処理部（例えばＣＰＵ）において実行されるケースが考えられる。本実施形態においては、ウェアラブルカメラの使用が想定されているため、それに付随して用いられる情報処理装置も小型軽量のもの（例えば携帯電話等）が用いられることが考えられる。そのような場合には、本実施形態にかかるプログラムは、携帯電話（特にスマートフォン）上で実行されるアプリケーションとして実現されてもよい。
【０１１７】
３．第２の実施形態
次に、本発明の画像処理システムの第２の実施形態を、図６を用いて説明する。第１の実施形態と同様に、撮像装置１０は、撮像モジュール１２と基本画像処理エンジン１４とモーションセンサ１６からなる。
【０１１８】
撮像装置１０からの動画ストリームは第１の処理装置１００に入力される。第１の処理装置１００の構成は、第１の実施形態と同様であるため、詳細な説明は省略する。
【０１１９】
傾きによるブレと、それとともに補正する必要がある並進ブレについて、第１実施形態では説明したが、並進のぶれに関して簡易的に伝送する画像のサイズを抑制する方法について図７（Ａ）〜図７（Ｄ）で説明する。
【０１２０】
図７（Ａ）に示すように、簡単のためにカメラ撮像範囲（外周の方形）、伝送範囲（太線の方形）、出力画像サイズ（内側の方形）として説明する。また、ぶれにより出力画像の範囲がずれることを表現するため、二点差線の枠を示す。
【０１２１】
まず、細かいブレ（高周波ブレ）が存在している場合は、被写体の撮像装置１０に対する相対的な動きは小さいと考えられるため、図７（Ｂ）に示すように伝送範囲は小さくすることが出来る。それに対して、ストロークの大きなブレ（低周波ブレ）が存在する場合は、伝送範囲を図７（Ｃ）に示すように広げることで、ブレに対応する必要がある。また、低周波でストロークの長いブレを補正する際に、第２の処理装置２００で補正を行うような場合は、図７（Ｄ）に示すように広い伝送範囲で画像を伝送しなくてはならない。
【０１２２】
このように、並進ブレの周波数等を考慮した上で伝送範囲を設定することにより、補正代を大幅に削減することができるため、通信装置で伝送する画像サイズを小さくすることが可能になる。
【０１２３】
並進ブレが高周波ブレであるか、低周波ブレであるかは、センサ情報取得部１５０で取得したセンサ情報に基づいて判定してもよいし、画像情報に対して画像処理を行うことで判定してもよい。一例としては図６に示したように、センサ情報取得部１５０からブレ判定情報を取得する。これは主に高周波ブレを検出するための情報である。それとともに、第２の処理装置２００で取得された画像情報を用いて、ブレ判定情報生成部２５０においてブレ判定情報を生成してもよい。これは主に低周波ブレを検出するための情報である。低周波ブレは、並進ブレの周波数が低いため、短時間に得られた情報では検出が難しい。よって、例えばデータベース２４０に蓄積された複数の画像情報を用いて検出することが考えられる。ブレ判定情報生成部２５０で生成されたブレ判定情報は、通信部２１０及び通信部１４０を介して切り出し範囲設定部１２０に送信される。
【０１２４】
なお、この本実施形態の各構成は、当然、各種の変形、変更が可能である。ここでは、画像の伝送範囲を広げたり狭めたりすることで伝送する画像容量を抑えたが、第１の実施形態のように、切り出し中心をブレ量に対してずらすようにしてもよい。
【０１２５】
また、本実施形態における低周波ブレ、高周波ブレとは以下のようなものであるとする。図１８（Ａ）に示しように大きな体動（歩行）で生じる体全体の上下動や足の繰り出しで生じる左右の揺れ、また、呼吸による体動などおおむね１Ｈｚ以下の揺れを低周波成分とする。また、頭部の微細な動き、歩行時の着地で生じる瞬間的な揺れなどについては高周波成分とする。
【０１２６】
例えば、図１８（Ａ）のような運動では、センサ情報からは図１８（Ｂ）のような波形が得られる。これは、図１８（Ｃ）に示した歩行由来の低周波成分と、図１８（Ｄ）に示した高周波成分の波形の合成である。図１８（Ｂ）の波形をフーリエ変換したものが図１８（Ｅ）となる。図１８（Ｅ）における網掛けの部分が低周波成分に相当する。
【０１２７】
ジャイロセンサによる位置のずれ、回転のズレ、重力加速度センサによる水平からの傾きのブレ、画像の特徴量の移動ベクトルから算出されるブレなどから姿勢変動を検出することができるため、それらの情報から高周波、低周波の成分を抽出することが可能である。抽出した成分を用いて補正処理を実施する際には、サーバで行ってもよいし、端末側で行ってもよい。
【０１２８】
例えば、本実施形態において上述したものは、高周波のブレ情報をカメラ端末（第１の処理装置１００）で算出し、電子手振れ補正のための画像切り出しに利用すると共に、サーバ側（第２の処理装置２００）で低周波のブレ情報を算出し、この値をカメラ端末側にフィードバックすることで前記画像の切り出し範囲を拡張するものである。
【０１２９】
以上の本実施形態では、情報処理装置の切り出し範囲設定部１２０は、並進によるブレが高周波ブレによるものが低周波ブレによるものかを判別するブレ判定情報を取得する。そして、並進によるブレが低周波ブレによるものと判定された場合には、高周波ブレによるものと判定された場合に比べて、広い領域を切り出し範囲として設定してもよい。
【０１３０】
これにより、図７（Ｂ）、図７（Ｃ）に示したような処理が可能になる。低周波ブレでは、高周波ブレに比べて広い範囲に移動することが想定される。よって、並進ブレ補正の際の補正代は広く取っておく必要がある。
【０１３１】
また、サーバシステムは、通信部から受信した画像情報に基づいてブレ判定情報を生成してもよい。そして、切り出し範囲設定部１２０は、サーバシステムが生成したブレ判定情報を、ネットワークを介して受信する。
【０１３２】
これにより、情報処理装置で行われる切り出し範囲の設定の際に、サーバシステムからフィードバックされたブレ判定情報を用いることが可能になる。情報処理装置では構成を簡単にすることが求められるため、画像を蓄積するバッファ等は設けられない可能性がある。しかし、低周波ブレを検出するためには、比較的長い期間にわたって情報を集める必要があるため、情報処理装置において低周波ブレを検出することは容易ではない。そこで、サーバシステム側で画像情報を蓄積し、低周波ブレの検出はサーバシステム側で行うことが考えられる。そして、サーバシステムで生成されたブレ判定情報を情報処理装置に送信することで、情報処理装置における切り出し範囲の設定処理に用いる。
【０１３３】
また、以上の本実施形態は、図６に示したように、画像情報に基づいて並進ブレが高周波ブレによるものか低周波ブレによるものかを判定するブレ判定情報を生成するブレ判定情報生成部を含むサーバシステムに関係する。サーバシステムの通信部２１０は、生成されたブレ判定情報を情報処理装置に対して送信する。
【０１３４】
これにより、ブレ判定情報を生成するサーバシステムを実現することが可能になる。情報処理装置ではなくサーバシステムにおいてブレ判定情報を生成することの利点は上述したとおりである。
【０１３５】
４．第３の実施形態。
次に、本発明の画像処理システムの第３の実施形態を、図８を用いて説明する。撮像装置１０は撮像モジュール１２と基本画像処理エンジン１４とモーションセンサ１６とからなる、これは第１、第２の実施の形態と共通である、また、第２の処理装置２００の構成も第１の実施形態と同様であるため、詳細な説明は省略する。
【０１３６】
第１の処理装置１００は被写体認識部１７０を含み、その認識結果である被写体情報は情報取得部１３０に送られる。被写体認識部では、画像データから被写体を検出し、その被写体座標等を取得することになる。第１の処理装置１００では、取得した被写体座標に基づいて、画像切り出し位置の追尾を行い、切り出し画角を制御する。
【０１３７】
また、本実施形態におけるセンサはモーションセンサに限定されるものではなく、ＲＦＩＤを用いたアクティブレーダーや焦電センサなど、被写体を認識するためのセンサであってもよい。その場合、図８の例とは異なり、撮像画像ではなく，センサ情報に基づいて被写体情報を取得することになる。
【０１３８】
被写体認識部１７０からの被写体情報（画像内の被写体位置・姿勢データ等）の周期的な変動を抽出し、高周波ブレと低周波ブレを検出し、画像の画角に対する正規化した振幅量を求め、振幅量が小さく高周波のブレ成分のみの時は画像の切り出し範囲を小さくし、振幅量が大きいか、もしくは低周波成分が多い場合には画像の切り出し範囲を大きくする処理を行う。
【０１３９】
図９に顔を例とした伝送範囲の大きさについてカメラ撮像範囲（外周の方形）、伝送範囲（太線の方形）、出力画像サイズ（内側の方形）を用いて説明する。図９（Ａ）は被写体が動いていない標準的な状態である。被写体の運動が小さい時は、高周波ブレであり、振幅が小さいため図９（Ｂ）に示すように伝送範囲を小さくする。被写体の運動が大きい時は低周波ブレの状態であるため、図９（Ｃ）に示すように伝送範囲を広げる。また、被写体が移動するような場合は、撮像装置１０の運動も加味し、撮像装置１０が被写体移動方向に追尾運動をした場合、被写体を追いかける方向の伝送範囲を広げるようにしても良い（図９（Ｄ））。
【０１４０】
以上の本実施形態では、情報取得部１３０は、撮像画像における被写体の被写体傾き情報に基づいて傾きブレ情報を取得してもよい。そして、切り出し範囲設定部１２０は、傾きブレ情報に基づいて切り出し範囲を設定する。
【０１４１】
これにより、被写体情報に基づいて傾きブレ情報を取得することが可能になる。被写体情報は例えば撮像画像に対して画像処理を行うことにより取得してもよいし、センサ等の情報に基づいて取得してもよい。サーバシステムの画像処理部２３０において行われるブレ補正処理が、被写体の画像上での動きを小さくするという目的で行われることに鑑みれば、被写体の情報に基づいて当該ブレ補正処理のパラメータ等を決定することは非常に有用であると考えられる。
【０１４２】
また、情報取得部１３０は、撮像画像における被写体の被写体並進情報に基づいて並進ブレ情報を取得してもよい。そして、切り出し範囲設定部１２０は、並進ブレ情報に基づいて切り出し範囲を設定する。
【０１４３】
これにより、傾きブレ補正だけでなく、並進ブレ補正についても被写体情報に基づいて処理を行うことが可能になる。被写体情報を用いることの利点は上述したとおりである。
【０１４４】
５．変形例
第１〜第３の実施形態においては、画像処理を行う対象は傾きによるブレ及び並進ブレであったが、それ以外に画像処理を行ってもよい。ここではローリングシャッターによる歪み及びレンズディストーションについて説明する。
【０１４５】
ウェアラブルカメラでは、端末価格を抑えるために撮像装置１０として安価なＣＭＯＳセンサを用いることが考えられる。しかし、ＣＭＯＳセンサを用いた場合には、ローリングシャッター歪みの影響により、切り出したトリミング結果に対して欠損が生じるという問題があった。具体例を図１０（Ａ）、図１０（Ｂ）、図１１に示す。図１０（Ａ）がローリングシャッターによる歪みが生じない場合の例であり、この場合には、適切な範囲をトリミング範囲（切り出し範囲）として設定することができる。しかし、ローリングシャッターによる歪みが生じた場合には、図１０（Ｂ）に示したように、直立しているはずの被写体が斜め方向に歪んでしまうことがある。そのため、歪みを考慮せずに切り出し範囲を設定してしまうと、切り出した結果として図１１のように被写体の一部に欠損が生じてしまうことになる。
【０１４６】
よって本例では、図１２に示したようにローリングシャッターによる歪みを考慮した上で、長方形ではなく平行四辺形の領域を切り出し範囲として設定するものとする。このような領域でトリミングをした上で、ブレ補正及び歪み補正を行えば、図１３に示したように、被写体が欠損することがなく、適切な画像を取得することができる。具体的には例えば、ジャイロセンサで計測した角速度と、ＡＦからの主要被写体までの距離情報、及びレンズが書くから取得される歪み量を推定し、それらの情報に基づいて切り出し範囲を設定することが考えられる。
【０１４７】
次にレンズディストーションについて説明する。光学系では歪曲収差等の影響により画像に歪みが生じうる。特に画像周辺部ほど歪みは大きい。よって、レンズディストーションも考慮した上で、長方形ではなく図１４に示したような形状の切り出し範囲を設定する必要がある。また、図１５に示したようにローリングシャッターによる歪みとレンズディストーションの両方を考慮した切り出し範囲の設定も可能である。
【０１４８】
なお、上述した図１０（Ｂ）等ではパンニングによる（つまり撮像装置１０側が動くことによる）ローリングシャッター歪みについて述べていたが、被写体側が動く場合にも同様のことを考える必要がある。例えば、図１６、図１７のように、パンニングによるローリングシャッター歪みがなかったとしても、被写体が運動中であれば、そのことによるローリングシャッター歪みを考慮した上で、切り出し範囲の設定を行わなければならない。この場合、例えば被写体の動き認識やオプティカルフローの傾向から、ローリングシャッター歪みを考慮して切り出し範囲を変形することになる。
【０１４９】
以上の本実施形態では、切り出し範囲設定部１２０は、撮像画像において生じる歪みを補正する際に用いられる歪み補正処理領域を内包する領域を切り出し範囲として設定してもよい。
【０１５０】
これにより、ブレだけでなく歪みも考慮した上で切り出し範囲を設定することが可能になる。例えば図１０（Ｂ）に示したように斜め方向への歪みが生じている場合には、長方形の領域を切り出し範囲に設定しても図１１に示したように被写体の欠損が生じる。その場合には、平行四辺形等の歪みを考慮した切り出し範囲を設定することが望ましい。
【０１５１】
また、撮像画像の歪みは、ローリングシャッターによる歪みであってもよいし、歪曲収差による歪みであってもよい。
【０１５２】
これにより、ローリングシャッターによる歪み及び歪曲収差による歪みに対応することが可能になる。ローリングシャッターによる歪みには上述したように図１０（Ｂ）のようなパンニングによるものと、図１７のような被写体の運動によるものがあるが、どちらにも対応可能である。歪曲収差による歪みは、撮像光学系の設計等から歪みの度合いを推定することができるため、推定した歪み度合いに応じて切り出し範囲を設定すればよい。
【０１５３】
以上、本発明を適用した３つの実施の形態１〜３およびその変形例について説明したが、本発明は、各実施の形態１〜３やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施の形態１〜３や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施の形態１〜３や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。
【符号の説明】
【０１５４】
１０ 撮像装置、１２ 撮像モジュール、１４ 基本画像処理エンジン、
１６ モーションセンサ、１００ 第１の処理装置、１１０ 撮像画像取得部、
１２０ 切り出し範囲設定部、１２２ 画像切り出し部、１３０ 情報取得部、
１４０ 通信部、１５０ センサ情報取得部、１６０ 表示部、１７０ 被写体認識部、
２００ 第２の処理装置、２１０ 通信部、２２０ 画像／センサバッファ、
２３０ 画像処理部、２４０ データベース、２５０ ブレ判定情報生成部、
【技術分野】
【０００１】
本発明は、情報処理装置、サーバシステム、画像処理システム及びプログラム等に関する。
【背景技術】
【０００２】
ウェアラブルカメラは、身体に装着したカメラによる動画像の撮影を行う。従来のウェアラブルカメラは内蔵の記憶装置に動画を記録し、それをパーソナルコンピュータなどにファイルとして移動し、動画データを得ていた。しかし、ウェアラブルカメラには手ぶれ補正はなく、ダイナミックな動きそのものを記録することに重点が置かれている。
【０００３】
手ぶれ補正処理としては、例えば特許文献１に開示されているような電子手ぶれ補正の技術が知られている。また、従来型のカムコーダーでは、細かな手ぶれを補正する能力に加え、最近ではアクティブモードやダイナミックモードとして、歩行時のブレの補正まで出来る低周波、大振幅対応の機能が光学式、電子式共に導入されつつある。すなわち、従来の手ぶれ補正は、周波数の高い手ぶれ成分に加え、近年は歩行時の長周期ブレを補正するように構成されていた。
【０００４】
また、従来のウェアラブルカメラにおいては、画像処理はスタンドアローンで実施されるものであった。ウェアラブルカメラでは、従来のカメラで意識的に行っていた水平出し（画面の左右傾き、ロール軸）や身体を動かした時の腕を使ったカメラポジションの移動の緩和などが実施できない。その為、超広角のレンズを用いて広い範囲を撮影した上でのトリミングか、スタビライザーやパンチルトロール可能な雲台により、撮影フレーミングの調整や、ブレ補正を行う必要がある。
【０００５】
また、携帯電話のテレビ電話機能などは限られた帯域の中、低解像度の映像を圧縮した上で伝送することを行っていた。
【０００６】
コンシューマー向けのウェアラブルカメラを導入するためにはこれらを融合した上で、更に見やすい、シーン認識機能などにより自動編集しやすい高画質の映像を撮るための画像安定制御の技術が必要になる。例えば、特許文献２では、ネットワークを介して処理画像とブレ補正のための情報をサーバに送信し、サーバでブレ補正を実施する例が開示されている。
【先行技術文献】
【特許文献】
【０００７】
【特許文献１】特開平５−３１６４０４号公報
【特許文献２】特開２００９−３０２７６２号公報
【発明の概要】
【発明が解決しようとする課題】
【０００８】
携帯電話のテレビ電話機能等の動画像の伝送では、ネットワークの帯域が限られているため、画像の解像度を下げたり圧縮処理を行ったりしている。しかし、そのような処理は画質の劣化を招くことになる。
【０００９】
また、ウェアラブルカメラにおいては、ブレ（傾きによるブレと並進によるブレを含む）が発生しやすいため、当該ブレを補正する処理を行うことが望ましい。特に、撮像した画像を大画面の表示装置に表示する際には、ユーザにとって見やすい映像を提供するためにもブレ補正処理は必要となる。
【００１０】
特許文献２では、補正に必要な領域を削除すると補正漏れが生じることから、画像はすべてサーバに送付している。しかしながら、限られた通信帯域で大容量画像をそのまま送付することはネットワークインフラに多大な負荷を与えるため、好ましくない。
【００１１】
本発明の幾つかの態様によれば、撮像画像に対して切り出し範囲を設定し、設定した切り出し範囲の画像情報をサーバシステムに対して送信することでネットワークの帯域の圧迫等を抑止できる情報処理装置、サーバシステム、画像処理システム及びプログラム等を提供することができる。
【００１２】
また、本発明の幾つかの態様によれば、画像処理を行うサーバシステムに対して、ブレ補正処理に使用されるパラメータを付加した上で画像情報を送信することで、分散型等の画像処理を行う情報処理装置、サーバシステム、画像処理システム及びプログラム等を提供することができる。
【課題を解決するための手段】
【００１３】
本発明の一態様は、撮像部から撮像画像を取得する撮像画像取得部と、サーバシステムにおける画像処理対象領域に対応する切り出し範囲を、取得した前記撮像画像に対して設定する切り出し範囲設定部と、前記撮像画像のうち、前記切り出し範囲設定部により前記切り出し範囲に設定された領域の画像情報を、ネットワークを介して前記サーバシステムに送信する通信部と、を含む情報処理装置に関係する。
【００１４】
本発明の一態様では、撮像画像に対して切り出し範囲を設定し、切り出し範囲に設定された領域の画像情報をサーバシステムに対して送信する。よって、切り出し範囲を撮像画像よりも例えば狭い領域とすることで、ネットワークに対して送信される画像情報のデータサイズを小さくすることなどが可能になり、ネットワークの帯域を圧迫することによる影響等を抑止することができる。
【００１５】
また、前記切り出し範囲設定部は、前記撮像画像において生じるブレを補正する際に用いられるブレ補正処理領域を内包する領域を、前記切り出し範囲として設定してもよい。
【００１６】
これにより、ブレ補正処理領域を内包する領域をサーバシステムに対して送信することができるため、サーバシステムにおいてブレ補正処理を行うことが可能になる。
【００１７】
また、前記撮像部の傾きブレ補正処理に使用される傾きブレ情報を取得する情報取得部を含み、前記切り出し範囲設定部は、前記傾きブレ情報に基づいて、前記切り出し範囲を設定してもよい。
【００１８】
これにより、傾きブレを補正することが可能な切り出し範囲を設定することが可能になる。
【００１９】
また、前記撮像部のモーションセンサからのセンサ情報を取得するセンサ情報取得部を含み、前記情報取得部は、前記センサ情報に基づいて前記傾きブレ情報を取得し、前記切り出し範囲設定部は、前記傾きブレ情報に基づいて、前記切り出し範囲を設定してもよい。
【００２０】
これにより、センサ情報を用いて傾きブレ情報を取得し、切り出し範囲を設定することが可能になる。
【００２１】
また、前記情報取得部は、前記撮像画像における被写体の被写体傾き情報に基づいて前記傾きブレ情報を取得し、前記切り出し範囲設定部は、前記傾きブレ情報に基づいて、前記切り出し範囲を設定してもよい。
【００２２】
これにより、被写体の情報を用いて傾きブレ情報を取得し、切り出し範囲を設定することが可能になる。
【００２３】
また、前記通信部は、前記切り出し範囲に設定された領域の前記画像情報に、前記傾きブレ情報を付加して前記サーバシステムに対して送信してもよい。
【００２４】
これにより、画像情報に付加して、切り出し範囲設定時のパラメータを送信することが可能になるため、サーバシステムにおける画像処理を容易にすることができる。
【００２５】
また、前記撮像部の並進ブレ補正処理に使用される並進ブレ情報を取得する情報取得部を含み、前記切り出し範囲設定部は、前記並進ブレ情報に基づいて、前記切り出し範囲を設定してもよい。
【００２６】
これにより、並進ブレを補正することが可能な切り出し範囲を設定することが可能になる。
【００２７】
また、前記撮像部のモーションセンサからのセンサ情報を取得するセンサ情報取得部を含み、前記並進ブレ情報取得部は、前記センサ情報に基づいて前記並進ブレ情報を取得し、前記切り出し範囲設定部は、前記並進ブレ情報に基づいて、前記切り出し範囲を設定してもよい。
【００２８】
これにより、センサ情報を用いて並進ブレ情報を取得し、切り出し範囲を設定することが可能になる。
【００２９】
また、前記情報取得部は、前記撮像画像における被写体の被写体並進情報に基づいて前記並進ブレ情報を取得し、前記切り出し範囲設定部は、前記並進ブレ情報に基づいて、前記切り出し範囲を設定してもよい。
【００３０】
これにより、被写体の情報を用いて並進ブレ情報を取得し、切り出し範囲を設定することが可能になる。
【００３１】
また、前記切り出し範囲設定部は、前記並進ブレ補正処理を行わない場合の第１の切り出し範囲に比べて、前記並進ブレ補正処理を行う場合の第２の切り出し範囲を、前記並進ブレ情報により特定される並進ブレ量に対応する分だけ広い領域に設定してもよい。
【００３２】
これにより、並進ブレ補正処理を行う場合には、並進ブレ補正処理を行わない場合に比べて並進ブレ量だけ広い領域を設定することで、並進ブレに対応可能な切り出し範囲を設定することができる。
【００３３】
また、前記通信部は、前記切り出し範囲に設定された領域の前記画像情報に、前記並進ブレ情報を付加して前記サーバシステムに対して送信してもよい。
【００３４】
これにより、画像情報に付加して、切り出し範囲設定時のパラメータを送信することが可能になるため、サーバシステムにおける画像処理を容易にすることができる。
【００３５】
また、前記切り出し範囲設定部は、前記撮像部の並進ブレが、高周波ブレによるものか、前記高周波ブレよりも低い周波数を有する低周波ブレによるものかを判定するためのブレ判定情報を取得し、取得した前記ブレ判定情報により前記並進ブレが前記低周波ブレによるものであると判定された場合には、前記高周波ブレによるものであると判定された場合に比べて広い領域を前記切り出し範囲として設定してもよい。
【００３６】
これにより、並進ブレが低周波ブレか高周波ブレかに応じて、適切な大きさの領域を切り出し範囲に設定することが可能になる。
【００３７】
また、前記サーバシステムは、前記通信部から受信した前記画像情報に基づいて前記ブレ判定情報を生成し、前記切り出し範囲設定部は、前記サーバシステムが生成した前記ブレ判定情報を、前記ネットワークを介して受信してもよい。
【００３８】
これにより、高周波ブレか低周波ブレかを判定するためのブレ判定情報をサーバシステムにおいて生成し、生成されたブレ判定情報を受信することで情報処理装置において切り出し範囲を設定することが可能になる。
【００３９】
また、前記切り出し範囲設定部は、前記撮像画像において生じる歪みを補正する際に用いられる歪み補正処理領域を内包する領域を、前記切り出し範囲として設定してもよい。
【００４０】
これにより、ブレだけでなく、歪みについても補正可能な切り出し範囲を設定することが可能になる。
【００４１】
また、前記撮像画像の前記歪みは、前記撮像部の撮像素子におけるローリングシャッターによる歪みであってもよい。
【００４２】
これにより、撮像素子におけるローリングシャッターによる歪みを補正可能な切り出し範囲を設定することが可能になる。
【００４３】
また、前記撮像画像の前記歪みは、前記撮像部の撮像素子における歪曲収差による歪みであってもよい。
【００４４】
これにより、撮像素子における歪曲収差による歪みを補正可能な切り出し範囲を設定することが可能になる。
【００４５】
本発明の他の態様は、ネットワークを介して情報処理装置と通信を行う通信部と、画像処理を行う画像処理部と、を含み、前記通信部は、前記情報処理装置が、撮像部から取得した撮像画像に対して切り出し範囲を設定し、前記切り出し範囲に対応する領域の画像情報と、前記切り出し範囲の設定に用いられたパラメータとを、前記ネットワークを介して送信した場合に、送信された前記画像情報と前記パラメータとを受信し、前記画像処理部は、受信した前記パラメータに基づいて、受信した前記画像情報に対する補正処理を行うサーバシステムに関係する。
【００４６】
本発明の他の態様では、上述してきた情報処理装置から、切り出し範囲に設定された領域の画像情報と、切り出し範囲の設定に用いられたパラメータを受信することで、画像情報に対して補正処理を行うことができるサーバシステムを実現することが可能になる。よって、情報処理装置とサーバシステムとが連携し、補正処理を行うことが可能になる。
【００４７】
また、前記画像情報に基づいて、前記画像情報におけるブレが高周波ブレによるものか、前記高周波ブレよりも低い周波数を有する低周波ブレによるものかを判定するための情報であるブレ判定情報を生成するブレ判定情報生成部を含み、前記通信部は、生成された前記ブレ判定情報を前記ネットワークを介して前記情報処理装置に対して送信してもよい。
【００４８】
これにより、ブレ判定情報をサーバシステムにおいて生成することが可能になる。
【００４９】
本発明の他の態様は、情報処理装置と、サーバシステムと、を含み、前記情報処理装置は、撮像部から撮像画像を取得する撮像画像取得部と、前記サーバシステムにおける画像処理対象領域に対応する切り出し範囲を、取得した前記撮像画像に対して設定する切り出し範囲設定部と、前記撮像画像のうち、前記切り出し範囲設定部により前記切り出し範囲に設定された領域の画像情報を、ネットワークを介して前記サーバシステムに送信する第１の通信部と、を含み、前記サーバシステムは、前記撮像画像に対して前記情報処理装置が設定した前記切り出し範囲に対応する領域の画像情報を、前記情報処理装置からネットワークを介して受信するとともに、前記切り出し範囲の設定に用いられたパラメータを受信する第２の通信部と、前記パラメータに基づいて、前記画像情報に対する補正処理を行う画像処理部と、を含む画像処理システムに関係する。
【００５０】
本発明の他の態様では、情報処理装置とサーバシステムとが連係して動作することにより画像補正処理を行うことが可能な画像処理システムを実現することができる。
【００５１】
本発明の他の態様は、撮像部から撮像画像を取得する撮像画像取得部と、取得した前記撮像画像に対してブレ補正処理を行う際に用いられるパラメータを設定するパラメータ設定部と、前記撮像画像の画像情報及び前記パラメータを、ネットワークを介してサーバシステムに送信する通信部と、を含む情報処理装置に関係する。
【００５２】
本発明の他の態様では、画像情報にパラメータを付加してサーバシステムに対して送信することにより、サーバシステムにおける画像処理を容易にする情報処理装置を実現することが可能になる。
【００５３】
本発明の他の態様は、撮像部から撮像画像を取得する撮像画像取得部と、サーバシステムにおける画像処理対象領域に対応する切り出し範囲を、取得した前記撮像画像に対して設定する切り出し範囲設定部と、前記撮像画像のうち、前記切り出し範囲設定部により前記切り出し範囲に設定された領域の画像情報を、ネットワークを介して前記サーバシステムに送信する通信部として、コンピュータを機能させるプログラムに関係する。
【図面の簡単な説明】
【００５４】
【図１】本実施形態のシステム構成例。
【図２】第１の実施形態の詳細なシステム構成例。
【図３】傾きブレ補正を行う場合の切り出し範囲の設定手法を説明する図。
【図４】並進ブレ補正を行う場合の切り出し範囲の設定手法を説明する図。
【図５】図５（Ａ）〜図５（Ｆ）は情報処理装置及びサーバシステムにおける画像処理の流れを説明する図。
【図６】第２の実施形態の詳細なシステム構成例。
【図７】図７（Ａ）〜図７（Ｄ）は並進ブレの特性に応じて切り出し範囲を変化させる手法を説明する図。
【図８】第３の実施形態の詳細なシステム構成例。
【図９】図９（Ａ）〜図９（Ｄ）は被写体の情報を用いて切り出し範囲を変化させる手法を説明する図。
【図１０】図１０（Ａ）は歪みがない場合の被写体と切り出し範囲の図、図１０（Ｂ）はローリングシャッター歪みがある場合の被写体と切り出し範囲の図。
【図１１】歪みにより情報の欠損が起こる例。
【図１２】ローリングシャッター歪みを考慮した切り出し範囲の例。
【図１３】図１２の切り出し範囲に対して補正処理を行った画像の例。
【図１４】歪曲収差による歪みを考慮した切り出し範囲の例。
【図１５】ローリングシャッター歪み及び歪曲収差による歪みを考慮した切り出し範囲の例。
【図１６】停車中の自動車を撮影した例。
【図１７】走行中の自動車を撮影した場合の歪みを考慮した切り出し範囲の例。
【図１８】図１８（Ａ）〜図１８（Ｅ）は低周波ブレ及び高周波ブレを説明する図。
【図１９】電子式ブレ補正の手法を説明する図。
【発明を実施するための形態】
【００５５】
以下、本実施形態について説明する。なお、以下に説明する本実施形態は、特許請求の範囲に記載された本発明の内容を不当に限定するものではない。また本実施形態で説明される構成の全てが、本発明の必須構成要件であるとは限らない。
【００５６】
１．本実施形態の手法
まず、本実施形態の手法について説明する。電子式ブレ補正として、図１９に示すような処理が知られている。これは表示画像に比べて大きい画像を取得しておき、取得した画像のうち適切な領域をトリミングする（例えばＡ１に示した領域をトリミングする）。そして、そのトリミング領域を被写体の動きに合わせて適切に設定することで、表示画像上では被写体が動いていないように見せるものである。
【００５７】
ウェアラブルカメラのようにユーザが身につける撮像装置の場合には、手で把持するものに比べて、水平を保つことが難しく、ブレの程度も大きくなりやすい。そのため、見やすい自然な画像（動画像）を提供する上で、上述したブレ補正処理を行うことが重要になってくる。
【００５８】
しかし、ウェアラブルカメラ（及びそれに付随するウェアラブルデバイス）は身につけるという特性上、小型化することが望ましく、そのため構成が簡素なものに限定されることが想定される。よって、電子式ブレ補正処理のような負荷のかかる処理をウェアラブルデバイス内で行うことが難しいケースも考えられる。
【００５９】
１つの解決策として、図１に示したように、ウェアラブルカメラで取得した画像をネットワークに対して送信し、クラウドネットワーク等を用いて画像処理を行う手法が考えられる。このようにすれば、ウェアラブルデバイス（図１ではＨＭＤ）はネットワークとの通信を行う通信部を有すればよく、負荷のかかる処理を行う必要が無くなるため、構成を簡素にすることができる。
【００６０】
ところが、処理を分散させる場合には新たな問題も生じる。ネットワークの帯域には制限があるため、ウェアラブルカメラで取得した画像を全てネットワークに送信した場合に、ネットワークの帯域を圧迫する可能性があるという問題である。
【００６１】
そこで本出願人は以下の手法を提案する。図１９に示したように、電子式ブレ補正を行うに当たっては表示画像よりも大きい画像が取得されている。そのうち、実際にユーザに対して提示されるのは、図１９のＡ１に示した領域だけである。傾きブレの傾き角度や、並進ブレのブレ量の程度等の情報を用いることで、Ａ１を含む領域は特定可能であるため、画像処理部（例えば画像処理クラウドネットワーク）での処理対象となる領域を撮像画像全体に比べ狭い領域に限定し、ネットワークに対して送信する画像情報のデータサイズを小さくすることは可能である。つまり、図５（Ｂ）を用いて後述するように、撮像画像（取得画像）Ｆ０に対して、表示に必要な領域はＦＦである。センサ情報等から得られる傾きの角度や並進ブレ量等を用いて、少なくともＦＦを含む領域であるＦ１（切り出し範囲）を設定し、Ｆ０ではなくＦ１をネットワークに対して送信する。このようにすることで、ネットワークの帯域を圧迫することによる影響を抑止することができる。また、ウェアラブルデバイスはブレ補正処理そのものではなく、ブレ補正処理に必要なおおまかな領域を特定し切り出すだけでよいため、処理の負荷は軽く、簡素な構成により実現可能となる。
【００６２】
以下、第１〜第３の実施形態及び変形例について説明する。第１の実施形態では、撮像画像におけるブレを傾きブレと並進ブレに分けて、それぞれに基づいて、切り出し範囲を設定する手法について述べる。第２の実施形態では、並進ブレの周波数情報を用いて、並進ブレが高周波ブレか低周波ブレかという判断を行って、切り出し範囲の設定に利用する手法について述べる。第３の実施形態では、撮像画像内の被写体の情報を用いる手法について述べる。変形例では、傾きブレ及び並進ブレとは別に、画像の歪みを考慮した上で、歪みに基づいた切り出し範囲の設定手法について述べる。
【００６３】
２．第１の実施形態
図１に本実施形態にかかる画像処理システムの第１の実施形態を示す。画像処理システムは、撮像装置と、第１の処理装置（狭義には情報処理装置）と、第２の処理装置（狭義にはサーバシステム）からなる。ここでは、第１の処理装置としてＨＭＤ（Head Mounted Display、頭部装着型表示装置）の例を示す。そして、撮像装置はＨＭＤに取り付けられたカメラであり、第２の処理装置はクラウドネットワークであるものとする。ただし、第１の処理装置及び第２の処理装置は、ＨＭＤ及びクラウドネットワークに限定されるものではない。なお、第１の処理装置として表示部を有するＨＭＤの例を挙げているが、第２の処理装置における画像処理結果を、第１の処理装置を保有するユーザに対してフィードバックする必要がなければ、第１の処理装置はＨＭＤのような表示部を有する装置でなくてもよい。
【００６４】
図２を用いてシステム構成の詳細について説明する。撮像装置１０は、撮像モジュール１２と、基本画像処理エンジン１４と、モーションセンサ１６とを含む。撮像モジュール１２は、結像のための光学系、光量調整のためのシャッターや絞り、ＮＤフィルターなど、ＣＣＤや、ＣＭＯＳなどの撮像素子で構成される。そして、基本画像処理エンジン１４は、撮像モジュール１２で取得された撮像画像に対して、映像信号としてのＮＴＳＣやデジタル画像伝送により出力するための映像処理を行う。撮像装置１０は、デジタルビデオカメラやデジタルスチルカメラと同様の構成としてもよい。また、モーションセンサ１６は撮像装置の動きに関する情報を取得する。例えば、モーションセンサ１６は加速度センサや角速度センサ、地磁気センサ等であってもよい。
【００６５】
撮像装置１０からの動画ストリームは第１の処理装置１００に入力される。第１の処理装置１００は入力映像をデジタル変換し、コンピュータプログラムを実装した組み込み計算機で処理を実施するよう構成されていてもよい。第１の処理装置１００は、撮像画像取得部１１０と、切り出し範囲設定部１２０と、画像切り出し部１２２と、情報取得部１３０と、通信部１４０と、センサ情報取得部１５０と、表示部１６０とを含む。
【００６６】
撮像画像取得部１１０は、撮像装置１０のからの動画ストリームを取得する。切り出し範囲設定部１２０は、撮像画像取得部１１０が取得した撮像画像に対して、切り出し範囲を設定する。切り出し範囲の詳細及び設定手法については後述する。画像切り出し部１２２は、切り出し範囲設定部１２０で設定された切り出し範囲に従って、撮像画像をトリミングし、通信部１４０に送る。情報取得部１３０は、ブレに関する情報を取得する。ブレに関する情報とは、例えば傾きブレ情報や並進ブレ情報等であり、本実施形態においては、センサ情報取得部１５０が取得したセンサ情報に基づいて取得される。通信部１４０は、画像切り出し部１２２で切り出された画像情報及び、切り出し範囲の設定の際に用いられたパラメータを、無線ＬＡＮや有線ＬＡＮなどのネットワーク層を介して第２の処理装置２００に対して送信する。センサ情報取得部１５０は、撮像装置１０に設けられたモーションセンサ１６からのセンサ情報を取得する。表示部１６０は、種々の画像を表示する。本実施形態においては、第２の処理装置２００において画像処理（ブレ補正処理）が行われた後の画像を、通信部１４０を介して取得し表示することになる。また第１の処理装置１００は、処理や伝送待ちで画像信号やセンサ信号を一時的に記憶するバッファメモリを持つように構成してもよい。
【００６７】
第１の処理装置１００の通信部１４０から伝送された信号は、第２の処理装置２００で処理される。第２の処理装置２００は、通信部２１０と、画像/センサバッファ２２０と、画像処理部２３０とを含み、処理された動画ストリームはデータベース２４０に格納される。
【００６８】
通信部２１０は、無線ＬＡＮや有線ＬＡＮなどのネットワーク層を介して第１の処理装置１００との通信を行う。具体的には、切り出し範囲に応じてトリミングされた画像情報と、切り出し範囲設定時のパラメータ（例えばセンサ情報）とを受信する。また、画像処理部２３０において処理された画像情報を第１の処理装置１００に対して送信する。画像／センサバッファ２２０は、通信部２１０が受信した画像情報及びセンサ情報（パラメータ）を保存するバッファである。画像処理部２３０は、画像処理としてブレ補正処理を行う。画像処理部２３０で行われる具体的な処理については、図５（Ｄ）〜図５（Ｆ）等を用いて後述する。なお、画像処理部２３０での処理後の画像は、第１の処理装置１００に対して送信されるものとしたがこれに限定されるものではなく、例えばネットワーク上のストレージに保存されるようにしてもよい。また、第２の処理装置２００は、プログラムとして実装されてもよく、またネットワーク上の分散処理システムなどで構成されてもよい。
【００６９】
次に第１の処理装置１００の切り出し範囲設定部１２０において行われる切り出し範囲の設定手法について説明する。切り出し範囲の設定は、傾きによるブレと、並進でのブレとの２つのブレに対応する必要があるが、ここでは傾きによるブレの補正から説明するものとする。
【００７０】
本実施形態では、画像安定化の処理の例として第１の処理装置１００は、加速度センサからの重力方向の情報を取得し、それに基づいて、第２の処理装置２００で実施するカメラのロール軸周りの画像の水平出し補正を行う。
【００７１】
電子式ブレ補正では、図１９に示したように表示画像に対して大きい画像を取得しておき、取得画像のなかで表示画像として用いる領域を、撮像装置１０と被写体との相対的な動きに基づいて決定することで、あたかも被写体が動いていない（ぶれていない）ように見せるものである。ここで表示画像として用いる領域の大きさは、当然表示画像の大きさに基づいて決定されるものであり、図３においては初期画像切り出し範囲として示したものに対応する。ここでは、傾きによるブレが発生していることを前提としているため、本来重力方向を基準として水平になっているはずの領域（初期画像切り出し範囲）が、傾いてしまっている（図３における「傾いた場合の画像切り出し範囲」に相当）。つまり、傾き補正処理を行うためには、「傾いた場合の画像切り出し範囲」を少なくとも含む領域を切り出し範囲に設定する必要がある。
【００７２】
本実施形態においては、処理を簡単にするため、重力方向に対して水平になっている長方形を切り出し範囲に設定する。よって、「傾いた場合の画像切り出し範囲」を包含する長方形を切り出し範囲として設定すればよい。ここで、ネットワークの帯域を圧迫しないことを目的に切り出し範囲の設定を行うことに鑑みれば、ただ「傾いた場合の画像切り出し範囲」を包含する長方形を設定するのではなく、そのような条件を満たす長方形のうち最小のものを設定する必要がある。これが図３に示した最小切り出し範囲となる。
【００７３】
傾きによるブレがρである場合を例にとって、最小切り出し範囲の設定手法について説明する。画像の表示範囲の中心を原点とし、図３に示すように頂点をＡ、Ｂとする。縦横の表示範囲のピクセル量を（Ｕ，Ｖ）ピクセルと定義すると、表示範囲の原点から頂点までの距離ｒは下式（１）に示す値となる。
【数１】
【００７４】
傾きによるブレρ[ｄｅｇ]だけ、ロール軸周りに逆方向に画像切り出し範囲を回転させることで回転ブレを補正する。このとき、伝送する画像切り出し範囲は表示範囲に外接する方形を最小切り出し範囲（Ｕ'ｍｉｎ，Ｖ'ｍｉｎ）としてこの範囲以上の大きさの領域を切り出すことになる。Ａ’及びＢ’の座標からＵ’ｍｉｎ及びＶ’ｍｉｎは下式（２）及び（３）により求められる。
【数２】
【数３】
【００７５】
画像の鉛直方向と、重力方向が一致している状態で安定していれば、大画面テレビでの視聴を行う時に不快なロール軸周りのブレがなく、安定して映像を視聴することが出来る。しかしながら、頭部装着型のウェアラブルカメラのように体動に応じてカメラも大きく動く場合には、映像酔いを起こしたりする。これを防ぐには、ロール軸周りのブレ補正を行う必要がある。
【００７６】
図３に示すように基準位置からの重力センサのカメラ光軸周りのズレ角度をρとしているので、この画像のピクセル縦横比から決まる原点から頂点への直線がｕ軸となす角αが算出でき、これと、ρを用いることで傾いた撮像を行っている時に鉛直方向画像のｖ方向になるように画像切り出しを行う領域を上式（１）〜（３）に基づいて算出することが出来る。
【００７７】
実際にはこれに並進のブレ、パンやチルト動作により生じる単調増加、減少の画像の移動が存在するので、第１の処理装置で切り出す画像のサイズは、これらを考慮したΔＵ、ΔＶに応じて追加した範囲の映像を切り出す。
【００７８】
続いて並進のブレ補正について説明する。並進のブレ補正は、一般的な電子ブレ補正を用いるが、その為に必要となる補正代としてΔＵ、ΔＶをβ倍した領域を持つ画像切り出しを第１の処理装置１００では行うことになる。ΔＵ、ΔＶは加速度センサから出力される並進成分から算出されており、これを基に第１の処理装置１００の実切り出し範囲を決定する。βの値は電子ブレ補正の安全率ともいえる倍率であり電子ブレ補正をぎりぎり行うβ＝１から、挙動を安定化し、画像切れを防ぐためにβ=２程度の値を持つのが好ましい。この関係を図４に示す。
【００７９】
以上のように、傾きによるブレ及び並進のブレに基づいて切り出された画像情報が、通信部１４０を介して第２の処理装置２００に送信される。画像を切り出して転送することで、通信の伝送量を、すべての映像を最大のサイズで送信するよりも少ない容量にすることが可能になる。
【００８０】
画像の切り出しは、基準画像のピクセルに対して単純に縦、横の配列座標に沿って方形に切り出すことが、画像処理の負荷を減らすことが出来るため望ましい。更に撮像モジュールがＣＭＯＳセンサの場合は、センサからの読み出しそれ自体を読み出し開始アドレス、終了アドレスを指定することで方形に切り取られた映像信号として取り出すことも出来るというメリットもある。
【００８１】
ここで、切り出し位置データとして原点の位置Ｏの座標遷移やセンサで検出されたρの値、また、それに伴い算出されたＡ’、Ｂ'の座標データ、第１の処理装置１００で切り出す座標の値、並進ブレの補正幅として付加したΔＵ，ΔＶの値はパラメータ（メタデータ）として映像データと共に、第２の処理装置２００に送られる。
【００８２】
第２の処理装置２００では、第１の処理装置１００で切り出された画像とパラメータ（切り出し位置データ等）に基づいて、並進ブレ成分によるブレと回転切り出しを行う画像ピクセルの値を読み出し、最終的な切り出し画像のピクセル値を算出する。このとき、ピクセル値は補完を必要とするので、適宜ニアバイピクセル、バイキュービック処理などの画素補完技術を用いて、最終的な切り出し画像を生成する。このようにして生成された画像を連続的につなげると、傾きブレで不安定だった画像が垂直の安定した画像になる。
【００８３】
また、時系列的に並んだ例えば数秒間の複数フレームを用いた低周波のブレを特徴点の移動などから画像処理で算出し、これを第１の処理装置１００に通信部２１０を介して送り、原点位置の座標遷移にフィードバックしてもよい。
【００８４】
更に第２の処理装置２００で、切り出し範囲を並進移動させる電子手振れ補正を用いて細かなブレを補正してもよいし、フレーム内でぶれている画像を、デブラーフィルタを用いて先鋭化させてもよい。
【００８５】
次に、第２の処理装置２００の画像処理部２３０で行われる画像処理について説明する。具体的には、補正のための画像の切り出し手順に応じた画像の切り出し範囲の遷移について図５（Ａ）〜図５（Ｆ）を用いて説明する。
【００８６】
まず、図５（Ａ）のＦ０は撮像素子の有効画素全体である。また、傾きの補正及び並進ブレ補正を行って最終的に表示・記録したいフレームは中央部のＦＦという方形で示す。
【００８７】
まず、第１の処理装置１００では、ＦＦに外接し、かつ並進ブレの補正代を持ったフレーム（図５（Ｂ）のＦ１）を決定する。画像切り出し部１２２では、このＦ１を切り出して、パラメータを付加して第２の処理装置２００に送信される。このことを表したのが図５（Ｃ）である。
【００８８】
第２の処理装置２００の画像処理部２３０では、Ｆ１に対して電子ブレ補正が行われＦ２が切り出される（図５（Ｄ））。この中で内接するρ回転したフレームＦＦ（図５（Ｅ））が切り出され、これを回転することで最終的な画像ＦＦＦ（図５（Ｆ））を出力することになる。
【００８９】
以上の本実施形態では、図２に示したように、情報処理装置（広義には第１の処理装置１００）は、撮像部（撮像装置１０）から撮像画像を取得する撮像画像取得部１１０と、サーバシステム（広義には第２の処理装置２００）における画像処理対象領域に対応する切り出し範囲を、撮像画像に対して設定する切り出し範囲設定部１２０と、撮像画像のうち切り出し範囲に設定された領域の画像情報を、ネットワークを介してサーバシステムに送信する通信部１４０と、を含む。
【００９０】
ここで、撮像画像は撮像素子によって結像される画像全体を指し、図５（Ａ）のＦ０に相当する。切り出し範囲とは、切り出し範囲設定部１２０において設定される領域であり、図５（Ｂ）のＦ１に相当する。画像処理対象領域とは、サーバシステムの画像処理部２３０における処理の際に用いられる領域であり、図５（Ｃ）のＦ１に相当する。ここでは、切り出し範囲と画像処理対象領域とは一致するものとしたがこれに限定されるものではない。
【００９１】
これにより、撮像画像に対して切り出し範囲を設定し、切り出し範囲として設定された領域の画像情報を、ネットワークを介してサーバシステムに送信する情報処理装置を実現することが可能になる。よって、撮像画像を取得する情報処理装置（第１の処理装置１００）と実際に画像処理を行うサーバシステム（第２の処理装置２００）とを分散させて配置することが可能になる。また、情報処理装置とサーバシステムはネットワークで接続されるため、切り出し範囲を設定することにより、ネットワークに対して送信される情報の量を削減することが可能になり、ネットワークの帯域を圧迫することによる影響を抑止することも可能となる。
【００９２】
また、切り出し範囲設定部１２０は、撮像画像において生じるブレを補正する際に用いられるブレ補正処理領域を内包する領域を切り出し範囲として設定してもよい。
【００９３】
ここで、ブレ補正処理領域とは、図１９におけるＡ１等の領域のことであり、図５（Ａ）でいえばＦＦに相当する。なお図３における「傾いた場合の画像切り出し範囲」のことでもある。
【００９４】
これにより、切り出し範囲はブレ補正領域を内包した領域とすることができる。電子式ブレ補正の原理より、ブレ補正領域を画像処理部２３０に送信することができればブレ補正処理を行えるのであるから、ブレ補正領域を内包した領域があれば、ブレ補正を行うことができる。ここで、切り出し範囲はブレ補正領域と一致してもよいが、処理を簡単にするために傾いていない長方形を設定したり、並進ブレによる補正代を用意したりすることで図５（Ｂ）のＦ１に示した領域のようになることは上述したとおりである。
【００９５】
また、情報処理装置（第１の処理装置１００）は、図２に示したように、撮像部の傾きブレ補正処理に使用される傾きブレ情報を取得する情報取得部１３０を含んでもよい。そして、切り出し範囲設定部１２０は傾きブレ情報に基づいて切り出し範囲を設定する。
【００９６】
これにより、傾きによるブレに対応することが可能になる。通常の手に把持して使用するデジタルビデオカメラ等においては、ユーザは自然に重力方向に対して水平に撮影しようとする。そのため、ブレ補正処理が強くかからなくても映像を見た場合に、不自然に感じることは少ない。しかし、ウェアラブルカメラ（例えば頭部に装着される）においては、水平を保った撮影は困難であり、特に撮影した映像を大画面の表示装置に表示した場合等に視聴者に違和感を与えやすい。よって、傾きによるブレを補正することで、見る人にとって自然な映像を提供することが望ましい。
【００９７】
また、情報処理装置（第１の処理装置１００）は、図２に示したように、撮像部のモーションセンサ１６からのセンサ情報を取得するセンサ情報取得部１５０を含んでもよい。そして情報取得部はセンサ情報に基づいて傾きブレ情報を取得し、切り出し範囲設定部１２０は、傾きブレ情報に基づいて切り出し範囲を設定する。
【００９８】
これにより、モーションセンサ１６のセンサ情報に基づいて切り出し範囲を設定することが可能になる。重力方向に対する傾きは加速度センサや角速度センサのセンサ値を用いることで容易に計測することができる。よって、画像処理等の手法を用いて傾きを検出する場合に比べて処理を簡単にすることが可能になる。
【００９９】
また、情報処理装置の通信部１４０は、切り出し範囲に設定された領域の画像情報に、傾きブレ情報を付加して、サーバシステムに対して送信してもよい。
【０１００】
これにより、サーバシステムにおける画像処理を容易に行うことが可能になる。図５（Ｃ）に示したように、第１の処理装置から送信される画像情報はＦ１に相当する切り出し範囲の領域となる。つまり、Ｆ１だけ送信されてもサーバシステムは必須部分と余剰部分とを判断しなければならず、例えば画像の被写体認識等の重い処理が必要となってしまう。その点、パラメータ（メタデータ）として傾きブレ情報（例えば回転角ρ）が同時に送信されれば、図５（Ｅ）のＦ２からＦＦを特定することは容易であるし、ＦＦから図５（Ｆ）のＦＦＦに変形することも容易である。
【０１０１】
また、情報処理装置（第１の処理装置１００）は、図２に示したように、撮像部の並進ブレ補正処理に使用される並進ブレ情報を取得する情報取得部１３０を含んでもよい。そして、切り出し範囲設定部１２０は並進ブレ情報に基づいて切り出し範囲を設定する。
【０１０２】
これにより、並進ブレに対応することが可能になる。ユーザの手ぶれ（ウェアラブルカメラであれば装着している部位のブレ）により、並進方向におけるブレは必ずと言っていいほど発生してしまう。その場合、図３に示したように、回転によるブレしか考慮しないでいると、並進ブレの影響により必要な情報が欠損してしまう可能性が生じる。よって図４に示したように、並進ブレの補正のための補正代（図４におけるβΔＵとβΔＶ）を用意しておくことが望ましい。
【０１０３】
また、情報処理装置（第１の処理装置１００）は、図２に示したように、撮像部のモーションセンサ１６からのセンサ情報を取得するセンサ情報取得部１５０を含んでもよい。そして情報取得部はセンサ情報に基づいて並進ブレ情報を取得し、切り出し範囲設定部１２０は、並進ブレ情報に基づいて切り出し範囲を設定する。
【０１０４】
これにより、モーションセンサ１６のセンサ情報に基づいて切り出し範囲を設定することが可能になる。並進ブレは加速度センサや角速度センサのセンサ値を用いることで容易に計測することができる。よって、画像処理等の手法を用いて並進ブレを検出する場合に比べて処理を簡単にすることが可能になる。
【０１０５】
また、切り出し範囲設定部１２０は、並進ブレ補正処理を行わない場合の第１の切り出し範囲に比べて、並進ブレ補正処理を行う場合の第２の切り出し範囲を、並進ブレ情報により特定される並進ブレ量に対応する分だけ広い領域に設定してもよい。
【０１０６】
これにより、第１の切り出し範囲に対する第２の切り出し範囲の拡大幅を、並進ブレ情報に基づいて適切に設定することが可能になる。具体的には、並進ブレ情報から特定される並進ブレ量ΔＵとΔＶを求める。ΔＵ、ΔＶをそのまま用いて拡大幅を決定してもよいが、本実施形態においては、βΔＵ及びβΔＶを用いることで、補正代に柔軟性を持たせ、必要に応じた大きさの切り出し範囲を設定可能にしている。
【０１０７】
また、情報処理装置の通信部１４０は、切り出し範囲に設定された領域の画像情報に、並進ブレ情報を付加してサーバシステムに送信してもよい。
【０１０８】
これにより、サーバシステムにおける画像処理を容易に行うことが可能になる。傾きブレの場合と同様に、切り出し範囲に対応する領域の画像情報だけ送信されても、サーバシステムは必須部分と余剰部分とを判別することができない。そこで、並進ブレ量ΔＵ及びΔＶを送信することで、図５（Ｄ）のＦ１からＦ２を容易に特定することが可能になる。なお、ΔＵ、ΔＶだけでなく、パラメータβも同時に付加して送信することが望ましい。
【０１０９】
また、以上の本実施形態は、撮像部（撮像装置１０）から取得した撮像画像に対して情報処理装置（第１の処理装置１００）が設定した切り出し範囲に対応する領域の画像情報を、情報処理装置からネットワークを介して受信するとともに、切り出し範囲の設定に用いられたパラメータを受信する通信部２１０と、受信したパラメータに基づいて画像情報に対して補正処理を行う画像処理部２３０と、を含むサーバシステム（第２の処理装置２００）に関係する。
【０１１０】
これにより、上述してきた情報処理装置と連動して動作するサーバシステムを実現することが可能になる。サーバシステムは、切り出し範囲に対応する領域の画像情報と、パラメータ（メタデータ）を用いて、画像情報に対してブレ補正処理を行う。このようなサーバシステムを実現することにより、情報処理装置側では、負荷のかかる画像処理を行う必要がなくなる。よって、情報処理装置の構成を簡素にすることが可能になり、特に情報処理装置がＨＭＤのようなウェアラブルデバイスの場合には効果を発揮する。
【０１１１】
また、以上の本実施形態は、上述した情報処理装置とサーバシステムを含む画像処理システムに関係する。
【０１１２】
これにより、情報処理装置とサーバシステムとを連係して動作させ、情報処理装置側では切り出し範囲の設定のみを行い、負荷のかかる画像処理（ブレ補正処理）はサーバシステム側で行うような画像処理システムを実現することができる。ネットワーク送信の前処理として情報処理装置側で切り出し範囲に基づく切り出し処理を行うため、ネットワークに送信される情報の量を削減することができ、ネットワークの帯域を圧迫することを抑止できる。
【０１１３】
また、以上の本実施形態は、撮像部（撮像装置１０）から撮像画像を取得する撮像画像取得部１１０と、取得した撮像画像に対してブレ補正処理を行う際に用いられるパラメータを設定するパラメータ設定部と、撮像画像の画像情報及びパラメータを、ネットワークを介してサーバシステムに送信する通信部１４０と、を含む情報処理装置に関係する。
【０１１４】
これにより、切り出し範囲の設定を行わずに、パラメータの送信を行う情報処理装置を実現することが可能になる。情報処理装置とサーバシステムの連動動作において、情報処理装置側で切り出し処理を行う場合について説明してきたが、情報処理装置では切り出しを行わず、パラメータの検出と送信のみを行うようにしてもよい。このようにすることで、上述してきた例に比べて、より情報処理装置側の処理負荷を軽くすることが可能になる。
【０１１５】
また、以上の本実施形態は、撮像部（撮像装置１０）から撮像画像を取得する撮像画像取得部１１０と、サーバシステム（広義には第２の処理装置２００）における画像処理対象領域に対応する切り出し範囲を、撮像画像に対して設定する切り出し範囲設定部１２０と、撮像画像のうち切り出し範囲に設定された領域の画像情報を、ネットワークを介してサーバシステムに送信する通信部１４０としてコンピュータを機能させるプログラムに関係する。
【０１１６】
これにより、上述してきた情報処理装置で行われる処理を、プログラムによりソフトウェア的に実現することが可能になる。そして、上記プログラムは、情報記憶媒体に記録される。ここで、情報記憶媒体としては、ＤＶＤやＣＤ等の光ディスク、光磁気ディスク、ハードディスク（ＨＤＤ）、不揮発性メモリーやＲＡＭ等のメモリーなど、情報処理装置等によって読み取り可能な種々の記録媒体を想定できる。例えば、ＰＣ等の機器によって読み取り可能な種々の記録媒体にプログラムが記憶され、ＰＣ等の処理部（例えばＣＰＵ）において実行されるケースが考えられる。本実施形態においては、ウェアラブルカメラの使用が想定されているため、それに付随して用いられる情報処理装置も小型軽量のもの（例えば携帯電話等）が用いられることが考えられる。そのような場合には、本実施形態にかかるプログラムは、携帯電話（特にスマートフォン）上で実行されるアプリケーションとして実現されてもよい。
【０１１７】
３．第２の実施形態
次に、本発明の画像処理システムの第２の実施形態を、図６を用いて説明する。第１の実施形態と同様に、撮像装置１０は、撮像モジュール１２と基本画像処理エンジン１４とモーションセンサ１６からなる。
【０１１８】
撮像装置１０からの動画ストリームは第１の処理装置１００に入力される。第１の処理装置１００の構成は、第１の実施形態と同様であるため、詳細な説明は省略する。
【０１１９】
傾きによるブレと、それとともに補正する必要がある並進ブレについて、第１実施形態では説明したが、並進のぶれに関して簡易的に伝送する画像のサイズを抑制する方法について図７（Ａ）〜図７（Ｄ）で説明する。
【０１２０】
図７（Ａ）に示すように、簡単のためにカメラ撮像範囲（外周の方形）、伝送範囲（太線の方形）、出力画像サイズ（内側の方形）として説明する。また、ぶれにより出力画像の範囲がずれることを表現するため、二点差線の枠を示す。
【０１２１】
まず、細かいブレ（高周波ブレ）が存在している場合は、被写体の撮像装置１０に対する相対的な動きは小さいと考えられるため、図７（Ｂ）に示すように伝送範囲は小さくすることが出来る。それに対して、ストロークの大きなブレ（低周波ブレ）が存在する場合は、伝送範囲を図７（Ｃ）に示すように広げることで、ブレに対応する必要がある。また、低周波でストロークの長いブレを補正する際に、第２の処理装置２００で補正を行うような場合は、図７（Ｄ）に示すように広い伝送範囲で画像を伝送しなくてはならない。
【０１２２】
このように、並進ブレの周波数等を考慮した上で伝送範囲を設定することにより、補正代を大幅に削減することができるため、通信装置で伝送する画像サイズを小さくすることが可能になる。
【０１２３】
並進ブレが高周波ブレであるか、低周波ブレであるかは、センサ情報取得部１５０で取得したセンサ情報に基づいて判定してもよいし、画像情報に対して画像処理を行うことで判定してもよい。一例としては図６に示したように、センサ情報取得部１５０からブレ判定情報を取得する。これは主に高周波ブレを検出するための情報である。それとともに、第２の処理装置２００で取得された画像情報を用いて、ブレ判定情報生成部２５０においてブレ判定情報を生成してもよい。これは主に低周波ブレを検出するための情報である。低周波ブレは、並進ブレの周波数が低いため、短時間に得られた情報では検出が難しい。よって、例えばデータベース２４０に蓄積された複数の画像情報を用いて検出することが考えられる。ブレ判定情報生成部２５０で生成されたブレ判定情報は、通信部２１０及び通信部１４０を介して切り出し範囲設定部１２０に送信される。
【０１２４】
なお、この本実施形態の各構成は、当然、各種の変形、変更が可能である。ここでは、画像の伝送範囲を広げたり狭めたりすることで伝送する画像容量を抑えたが、第１の実施形態のように、切り出し中心をブレ量に対してずらすようにしてもよい。
【０１２５】
また、本実施形態における低周波ブレ、高周波ブレとは以下のようなものであるとする。図１８（Ａ）に示しように大きな体動（歩行）で生じる体全体の上下動や足の繰り出しで生じる左右の揺れ、また、呼吸による体動などおおむね１Ｈｚ以下の揺れを低周波成分とする。また、頭部の微細な動き、歩行時の着地で生じる瞬間的な揺れなどについては高周波成分とする。
【０１２６】
例えば、図１８（Ａ）のような運動では、センサ情報からは図１８（Ｂ）のような波形が得られる。これは、図１８（Ｃ）に示した歩行由来の低周波成分と、図１８（Ｄ）に示した高周波成分の波形の合成である。図１８（Ｂ）の波形をフーリエ変換したものが図１８（Ｅ）となる。図１８（Ｅ）における網掛けの部分が低周波成分に相当する。
【０１２７】
ジャイロセンサによる位置のずれ、回転のズレ、重力加速度センサによる水平からの傾きのブレ、画像の特徴量の移動ベクトルから算出されるブレなどから姿勢変動を検出することができるため、それらの情報から高周波、低周波の成分を抽出することが可能である。抽出した成分を用いて補正処理を実施する際には、サーバで行ってもよいし、端末側で行ってもよい。
【０１２８】
例えば、本実施形態において上述したものは、高周波のブレ情報をカメラ端末（第１の処理装置１００）で算出し、電子手振れ補正のための画像切り出しに利用すると共に、サーバ側（第２の処理装置２００）で低周波のブレ情報を算出し、この値をカメラ端末側にフィードバックすることで前記画像の切り出し範囲を拡張するものである。
【０１２９】
以上の本実施形態では、情報処理装置の切り出し範囲設定部１２０は、並進によるブレが高周波ブレによるものが低周波ブレによるものかを判別するブレ判定情報を取得する。そして、並進によるブレが低周波ブレによるものと判定された場合には、高周波ブレによるものと判定された場合に比べて、広い領域を切り出し範囲として設定してもよい。
【０１３０】
これにより、図７（Ｂ）、図７（Ｃ）に示したような処理が可能になる。低周波ブレでは、高周波ブレに比べて広い範囲に移動することが想定される。よって、並進ブレ補正の際の補正代は広く取っておく必要がある。
【０１３１】
また、サーバシステムは、通信部から受信した画像情報に基づいてブレ判定情報を生成してもよい。そして、切り出し範囲設定部１２０は、サーバシステムが生成したブレ判定情報を、ネットワークを介して受信する。
【０１３２】
これにより、情報処理装置で行われる切り出し範囲の設定の際に、サーバシステムからフィードバックされたブレ判定情報を用いることが可能になる。情報処理装置では構成を簡単にすることが求められるため、画像を蓄積するバッファ等は設けられない可能性がある。しかし、低周波ブレを検出するためには、比較的長い期間にわたって情報を集める必要があるため、情報処理装置において低周波ブレを検出することは容易ではない。そこで、サーバシステム側で画像情報を蓄積し、低周波ブレの検出はサーバシステム側で行うことが考えられる。そして、サーバシステムで生成されたブレ判定情報を情報処理装置に送信することで、情報処理装置における切り出し範囲の設定処理に用いる。
【０１３３】
また、以上の本実施形態は、図６に示したように、画像情報に基づいて並進ブレが高周波ブレによるものか低周波ブレによるものかを判定するブレ判定情報を生成するブレ判定情報生成部を含むサーバシステムに関係する。サーバシステムの通信部２１０は、生成されたブレ判定情報を情報処理装置に対して送信する。
【０１３４】
これにより、ブレ判定情報を生成するサーバシステムを実現することが可能になる。情報処理装置ではなくサーバシステムにおいてブレ判定情報を生成することの利点は上述したとおりである。
【０１３５】
４．第３の実施形態。
次に、本発明の画像処理システムの第３の実施形態を、図８を用いて説明する。撮像装置１０は撮像モジュール１２と基本画像処理エンジン１４とモーションセンサ１６とからなる、これは第１、第２の実施の形態と共通である、また、第２の処理装置２００の構成も第１の実施形態と同様であるため、詳細な説明は省略する。
【０１３６】
第１の処理装置１００は被写体認識部１７０を含み、その認識結果である被写体情報は情報取得部１３０に送られる。被写体認識部では、画像データから被写体を検出し、その被写体座標等を取得することになる。第１の処理装置１００では、取得した被写体座標に基づいて、画像切り出し位置の追尾を行い、切り出し画角を制御する。
【０１３７】
また、本実施形態におけるセンサはモーションセンサに限定されるものではなく、ＲＦＩＤを用いたアクティブレーダーや焦電センサなど、被写体を認識するためのセンサであってもよい。その場合、図８の例とは異なり、撮像画像ではなく，センサ情報に基づいて被写体情報を取得することになる。
【０１３８】
被写体認識部１７０からの被写体情報（画像内の被写体位置・姿勢データ等）の周期的な変動を抽出し、高周波ブレと低周波ブレを検出し、画像の画角に対する正規化した振幅量を求め、振幅量が小さく高周波のブレ成分のみの時は画像の切り出し範囲を小さくし、振幅量が大きいか、もしくは低周波成分が多い場合には画像の切り出し範囲を大きくする処理を行う。
【０１３９】
図９に顔を例とした伝送範囲の大きさについてカメラ撮像範囲（外周の方形）、伝送範囲（太線の方形）、出力画像サイズ（内側の方形）を用いて説明する。図９（Ａ）は被写体が動いていない標準的な状態である。被写体の運動が小さい時は、高周波ブレであり、振幅が小さいため図９（Ｂ）に示すように伝送範囲を小さくする。被写体の運動が大きい時は低周波ブレの状態であるため、図９（Ｃ）に示すように伝送範囲を広げる。また、被写体が移動するような場合は、撮像装置１０の運動も加味し、撮像装置１０が被写体移動方向に追尾運動をした場合、被写体を追いかける方向の伝送範囲を広げるようにしても良い（図９（Ｄ））。
【０１４０】
以上の本実施形態では、情報取得部１３０は、撮像画像における被写体の被写体傾き情報に基づいて傾きブレ情報を取得してもよい。そして、切り出し範囲設定部１２０は、傾きブレ情報に基づいて切り出し範囲を設定する。
【０１４１】
これにより、被写体情報に基づいて傾きブレ情報を取得することが可能になる。被写体情報は例えば撮像画像に対して画像処理を行うことにより取得してもよいし、センサ等の情報に基づいて取得してもよい。サーバシステムの画像処理部２３０において行われるブレ補正処理が、被写体の画像上での動きを小さくするという目的で行われることに鑑みれば、被写体の情報に基づいて当該ブレ補正処理のパラメータ等を決定することは非常に有用であると考えられる。
【０１４２】
また、情報取得部１３０は、撮像画像における被写体の被写体並進情報に基づいて並進ブレ情報を取得してもよい。そして、切り出し範囲設定部１２０は、並進ブレ情報に基づいて切り出し範囲を設定する。
【０１４３】
これにより、傾きブレ補正だけでなく、並進ブレ補正についても被写体情報に基づいて処理を行うことが可能になる。被写体情報を用いることの利点は上述したとおりである。
【０１４４】
５．変形例
第１〜第３の実施形態においては、画像処理を行う対象は傾きによるブレ及び並進ブレであったが、それ以外に画像処理を行ってもよい。ここではローリングシャッターによる歪み及びレンズディストーションについて説明する。
【０１４５】
ウェアラブルカメラでは、端末価格を抑えるために撮像装置１０として安価なＣＭＯＳセンサを用いることが考えられる。しかし、ＣＭＯＳセンサを用いた場合には、ローリングシャッター歪みの影響により、切り出したトリミング結果に対して欠損が生じるという問題があった。具体例を図１０（Ａ）、図１０（Ｂ）、図１１に示す。図１０（Ａ）がローリングシャッターによる歪みが生じない場合の例であり、この場合には、適切な範囲をトリミング範囲（切り出し範囲）として設定することができる。しかし、ローリングシャッターによる歪みが生じた場合には、図１０（Ｂ）に示したように、直立しているはずの被写体が斜め方向に歪んでしまうことがある。そのため、歪みを考慮せずに切り出し範囲を設定してしまうと、切り出した結果として図１１のように被写体の一部に欠損が生じてしまうことになる。
【０１４６】
よって本例では、図１２に示したようにローリングシャッターによる歪みを考慮した上で、長方形ではなく平行四辺形の領域を切り出し範囲として設定するものとする。このような領域でトリミングをした上で、ブレ補正及び歪み補正を行えば、図１３に示したように、被写体が欠損することがなく、適切な画像を取得することができる。具体的には例えば、ジャイロセンサで計測した角速度と、ＡＦからの主要被写体までの距離情報、及びレンズが書くから取得される歪み量を推定し、それらの情報に基づいて切り出し範囲を設定することが考えられる。
【０１４７】
次にレンズディストーションについて説明する。光学系では歪曲収差等の影響により画像に歪みが生じうる。特に画像周辺部ほど歪みは大きい。よって、レンズディストーションも考慮した上で、長方形ではなく図１４に示したような形状の切り出し範囲を設定する必要がある。また、図１５に示したようにローリングシャッターによる歪みとレンズディストーションの両方を考慮した切り出し範囲の設定も可能である。
【０１４８】
なお、上述した図１０（Ｂ）等ではパンニングによる（つまり撮像装置１０側が動くことによる）ローリングシャッター歪みについて述べていたが、被写体側が動く場合にも同様のことを考える必要がある。例えば、図１６、図１７のように、パンニングによるローリングシャッター歪みがなかったとしても、被写体が運動中であれば、そのことによるローリングシャッター歪みを考慮した上で、切り出し範囲の設定を行わなければならない。この場合、例えば被写体の動き認識やオプティカルフローの傾向から、ローリングシャッター歪みを考慮して切り出し範囲を変形することになる。
【０１４９】
以上の本実施形態では、切り出し範囲設定部１２０は、撮像画像において生じる歪みを補正する際に用いられる歪み補正処理領域を内包する領域を切り出し範囲として設定してもよい。
【０１５０】
これにより、ブレだけでなく歪みも考慮した上で切り出し範囲を設定することが可能になる。例えば図１０（Ｂ）に示したように斜め方向への歪みが生じている場合には、長方形の領域を切り出し範囲に設定しても図１１に示したように被写体の欠損が生じる。その場合には、平行四辺形等の歪みを考慮した切り出し範囲を設定することが望ましい。
【０１５１】
また、撮像画像の歪みは、ローリングシャッターによる歪みであってもよいし、歪曲収差による歪みであってもよい。
【０１５２】
これにより、ローリングシャッターによる歪み及び歪曲収差による歪みに対応することが可能になる。ローリングシャッターによる歪みには上述したように図１０（Ｂ）のようなパンニングによるものと、図１７のような被写体の運動によるものがあるが、どちらにも対応可能である。歪曲収差による歪みは、撮像光学系の設計等から歪みの度合いを推定することができるため、推定した歪み度合いに応じて切り出し範囲を設定すればよい。
【０１５３】
以上、本発明を適用した３つの実施の形態１〜３およびその変形例について説明したが、本発明は、各実施の形態１〜３やその変形例そのままに限定されるものではなく、実施段階では、発明の要旨を逸脱しない範囲内で構成要素を変形して具体化することができる。また、上記した各実施の形態１〜３や変形例に開示されている複数の構成要素を適宜組み合わせることによって、種々の発明を形成することができる。例えば、各実施の形態１〜３や変形例に記載した全構成要素からいくつかの構成要素を削除してもよい。さらに、異なる実施の形態や変形例で説明した構成要素を適宜組み合わせてもよい。このように、発明の主旨を逸脱しない範囲内において種々の変形や応用が可能である。
【符号の説明】
【０１５４】
１０ 撮像装置、１２ 撮像モジュール、１４ 基本画像処理エンジン、
１６ モーションセンサ、１００ 第１の処理装置、１１０ 撮像画像取得部、
１２０ 切り出し範囲設定部、１２２ 画像切り出し部、１３０ 情報取得部、
１４０ 通信部、１５０ センサ情報取得部、１６０ 表示部、１７０ 被写体認識部、
２００ 第２の処理装置、２１０ 通信部、２２０ 画像／センサバッファ、
２３０ 画像処理部、２４０ データベース、２５０ ブレ判定情報生成部、
【特許請求の範囲】
【請求項１】
撮像部から撮像画像を取得する撮像画像取得部と、
サーバシステムにおける画像処理対象領域に対応する切り出し範囲を、取得した前記撮像画像に対して設定する切り出し範囲設定部と、
前記撮像画像のうち、前記切り出し範囲設定部により前記切り出し範囲に設定された領域の画像情報を、ネットワークを介して前記サーバシステムに送信する通信部と、
を含むことを特徴とする情報処理装置。
【請求項２】
請求項１において、
前記切り出し範囲設定部は、
前記撮像画像において生じるブレを補正する際に用いられるブレ補正処理領域を内包する領域を、前記切り出し範囲として設定することを特徴とする情報処理装置。
【請求項３】
請求項２において、
前記撮像部の傾きブレ補正処理に使用される傾きブレ情報を取得する情報取得部を含み、
前記切り出し範囲設定部は、
前記傾きブレ情報に基づいて、前記切り出し範囲を設定することを特徴とする情報処理装置。
【請求項４】
請求項３において、
前記撮像部のモーションセンサからのセンサ情報を取得するセンサ情報取得部を含み、
前記情報取得部は、
前記センサ情報に基づいて前記傾きブレ情報を取得し、
前記切り出し範囲設定部は、
前記傾きブレ情報に基づいて、前記切り出し範囲を設定することを特徴とする情報処理装置。
【請求項５】
請求項３において、
前記情報取得部は、
前記撮像画像における被写体の被写体傾き情報に基づいて前記傾きブレ情報を取得し、
前記切り出し範囲設定部は、
前記傾きブレ情報に基づいて、前記切り出し範囲を設定することを特徴とする情報処理装置。
【請求項６】
請求項３乃至５のいずれかにおいて、
前記通信部は、
前記切り出し範囲に設定された領域の前記画像情報に、前記傾きブレ情報を付加して前記サーバシステムに対して送信することを特徴とする情報処理装置。
【請求項７】
請求項２乃至６のいずれかにおいて、
前記撮像部の並進ブレ補正処理に使用される並進ブレ情報を取得する情報取得部を含み、
前記切り出し範囲設定部は、
前記並進ブレ情報に基づいて、前記切り出し範囲を設定することを特徴とする情報処理装置。
【請求項８】
請求項７において、
前記撮像部のモーションセンサからのセンサ情報を取得するセンサ情報取得部を含み、
前記並進ブレ情報取得部は、
前記センサ情報に基づいて前記並進ブレ情報を取得し、
前記切り出し範囲設定部は、
前記並進ブレ情報に基づいて、前記切り出し範囲を設定することを特徴とする情報処理装置。
【請求項９】
請求項７において、
前記情報取得部は、
前記撮像画像における被写体の被写体並進情報に基づいて前記並進ブレ情報を取得し、
前記切り出し範囲設定部は、
前記並進ブレ情報に基づいて、前記切り出し範囲を設定することを特徴とする情報処理装置。
【請求項１０】
請求項７乃至９のいずれかにおいて、
前記切り出し範囲設定部は、
前記並進ブレ補正処理を行わない場合の第１の切り出し範囲に比べて、前記並進ブレ補正処理を行う場合の第２の切り出し範囲を、前記並進ブレ情報により特定される並進ブレ量に対応する分だけ広い領域に設定することを特徴とする情報処理装置。
【請求項１１】
請求項１０において、
前記通信部は、
前記切り出し範囲に設定された領域の前記画像情報に、前記並進ブレ情報を付加して前記サーバシステムに対して送信することを特徴とする情報処理装置。
【請求項１２】
請求７乃至１１のいずれかにおいて、
前記切り出し範囲設定部は、
前記撮像部の並進ブレが、高周波ブレによるものか、前記高周波ブレよりも低い周波数を有する低周波ブレによるものかを判定するためのブレ判定情報を取得し、取得した前記ブレ判定情報により前記並進ブレが前記低周波ブレによるものであると判定された場合には、前記高周波ブレによるものであると判定された場合に比べて広い領域を前記切り出し範囲として設定することを特徴とする情報処理装置。
【請求項１３】
請求項１２において、
前記サーバシステムは、
前記通信部から受信した前記画像情報に基づいて前記ブレ判定情報を生成し、
前記切り出し範囲設定部は、
前記サーバシステムが生成した前記ブレ判定情報を、前記ネットワークを介して受信することを特徴とする情報処理装置。
【請求項１４】
請求項１において、
前記切り出し範囲設定部は、
前記撮像画像において生じる歪みを補正する際に用いられる歪み補正処理領域を内包する領域を、前記切り出し範囲として設定することを特徴とする情報処理装置。
【請求項１５】
請求項１４において、
前記撮像画像の前記歪みは、
前記撮像部の撮像素子におけるローリングシャッターによる歪みであることを特徴とする情報処理装置。
【請求項１６】
請求項１４において、
前記撮像画像の前記歪みは、
前記撮像部の撮像素子における歪曲収差による歪みであることを特徴とする情報処理装置。
【請求項１７】
ネットワークを介して情報処理装置と通信を行う通信部と、
画像処理を行う画像処理部と、
を含み、
前記通信部は、
前記情報処理装置が、撮像部から取得した撮像画像に対して切り出し範囲を設定し、前記切り出し範囲に対応する領域の画像情報と、前記切り出し範囲の設定に用いられたパラメータとを、前記ネットワークを介して送信した場合に、送信された前記画像情報と前記パラメータとを受信し、
前記画像処理部は、
受信した前記パラメータに基づいて、受信した前記画像情報に対する補正処理を行うことを特徴とするサーバシステム。
【請求項１８】
請求項１７において、
前記画像情報に基づいて、前記画像情報におけるブレが高周波ブレによるものか、前記高周波ブレよりも低い周波数を有する低周波ブレによるものかを判定するための情報であるブレ判定情報を生成するブレ判定情報生成部を含み、
前記通信部は、
生成された前記ブレ判定情報を前記ネットワークを介して前記情報処理装置に対して送信することを特徴とするサーバシステム。
【請求項１９】
情報処理装置と、
サーバシステムと、
を含み、
前記情報処理装置は、
撮像部から撮像画像を取得する撮像画像取得部と、
前記サーバシステムにおける画像処理対象領域に対応する切り出し範囲を、取得した前記撮像画像に対して設定する切り出し範囲設定部と、
前記撮像画像のうち、前記切り出し範囲設定部により前記切り出し範囲に設定された領域の画像情報を、ネットワークを介して前記サーバシステムに送信する第１の通信部と、
を含み、
前記サーバシステムは、
前記撮像画像に対して前記情報処理装置が設定した前記切り出し範囲に対応する領域の画像情報を、前記情報処理装置からネットワークを介して受信するとともに、前記切り出し範囲の設定に用いられたパラメータを受信する第２の通信部と、
前記パラメータに基づいて、前記画像情報に対する補正処理を行う画像処理部と、
を含むことを特徴とする画像処理システム。
【請求項２０】
撮像部から撮像画像を取得する撮像画像取得部と、
取得した前記撮像画像に対してブレ補正処理を行う際に用いられるパラメータを設定するパラメータ設定部と、
前記撮像画像の画像情報及び前記パラメータを、ネットワークを介してサーバシステムに送信する通信部と、
を含むことを特徴とする情報処理装置。
【請求項２１】
撮像部から撮像画像を取得する撮像画像取得部と、
サーバシステムにおける画像処理対象領域に対応する切り出し範囲を、取得した前記撮像画像に対して設定する切り出し範囲設定部と、
前記撮像画像のうち、前記切り出し範囲設定部により前記切り出し範囲に設定された領域の画像情報を、ネットワークを介して前記サーバシステムに送信する通信部として、
コンピュータを機能させることを特徴とするプログラム。
【請求項１】
撮像部から撮像画像を取得する撮像画像取得部と、
サーバシステムにおける画像処理対象領域に対応する切り出し範囲を、取得した前記撮像画像に対して設定する切り出し範囲設定部と、
前記撮像画像のうち、前記切り出し範囲設定部により前記切り出し範囲に設定された領域の画像情報を、ネットワークを介して前記サーバシステムに送信する通信部と、
を含むことを特徴とする情報処理装置。
【請求項２】
請求項１において、
前記切り出し範囲設定部は、
前記撮像画像において生じるブレを補正する際に用いられるブレ補正処理領域を内包する領域を、前記切り出し範囲として設定することを特徴とする情報処理装置。
【請求項３】
請求項２において、
前記撮像部の傾きブレ補正処理に使用される傾きブレ情報を取得する情報取得部を含み、
前記切り出し範囲設定部は、
前記傾きブレ情報に基づいて、前記切り出し範囲を設定することを特徴とする情報処理装置。
【請求項４】
請求項３において、
前記撮像部のモーションセンサからのセンサ情報を取得するセンサ情報取得部を含み、
前記情報取得部は、
前記センサ情報に基づいて前記傾きブレ情報を取得し、
前記切り出し範囲設定部は、
前記傾きブレ情報に基づいて、前記切り出し範囲を設定することを特徴とする情報処理装置。
【請求項５】
請求項３において、
前記情報取得部は、
前記撮像画像における被写体の被写体傾き情報に基づいて前記傾きブレ情報を取得し、
前記切り出し範囲設定部は、
前記傾きブレ情報に基づいて、前記切り出し範囲を設定することを特徴とする情報処理装置。
【請求項６】
請求項３乃至５のいずれかにおいて、
前記通信部は、
前記切り出し範囲に設定された領域の前記画像情報に、前記傾きブレ情報を付加して前記サーバシステムに対して送信することを特徴とする情報処理装置。
【請求項７】
請求項２乃至６のいずれかにおいて、
前記撮像部の並進ブレ補正処理に使用される並進ブレ情報を取得する情報取得部を含み、
前記切り出し範囲設定部は、
前記並進ブレ情報に基づいて、前記切り出し範囲を設定することを特徴とする情報処理装置。
【請求項８】
請求項７において、
前記撮像部のモーションセンサからのセンサ情報を取得するセンサ情報取得部を含み、
前記並進ブレ情報取得部は、
前記センサ情報に基づいて前記並進ブレ情報を取得し、
前記切り出し範囲設定部は、
前記並進ブレ情報に基づいて、前記切り出し範囲を設定することを特徴とする情報処理装置。
【請求項９】
請求項７において、
前記情報取得部は、
前記撮像画像における被写体の被写体並進情報に基づいて前記並進ブレ情報を取得し、
前記切り出し範囲設定部は、
前記並進ブレ情報に基づいて、前記切り出し範囲を設定することを特徴とする情報処理装置。
【請求項１０】
請求項７乃至９のいずれかにおいて、
前記切り出し範囲設定部は、
前記並進ブレ補正処理を行わない場合の第１の切り出し範囲に比べて、前記並進ブレ補正処理を行う場合の第２の切り出し範囲を、前記並進ブレ情報により特定される並進ブレ量に対応する分だけ広い領域に設定することを特徴とする情報処理装置。
【請求項１１】
請求項１０において、
前記通信部は、
前記切り出し範囲に設定された領域の前記画像情報に、前記並進ブレ情報を付加して前記サーバシステムに対して送信することを特徴とする情報処理装置。
【請求項１２】
請求７乃至１１のいずれかにおいて、
前記切り出し範囲設定部は、
前記撮像部の並進ブレが、高周波ブレによるものか、前記高周波ブレよりも低い周波数を有する低周波ブレによるものかを判定するためのブレ判定情報を取得し、取得した前記ブレ判定情報により前記並進ブレが前記低周波ブレによるものであると判定された場合には、前記高周波ブレによるものであると判定された場合に比べて広い領域を前記切り出し範囲として設定することを特徴とする情報処理装置。
【請求項１３】
請求項１２において、
前記サーバシステムは、
前記通信部から受信した前記画像情報に基づいて前記ブレ判定情報を生成し、
前記切り出し範囲設定部は、
前記サーバシステムが生成した前記ブレ判定情報を、前記ネットワークを介して受信することを特徴とする情報処理装置。
【請求項１４】
請求項１において、
前記切り出し範囲設定部は、
前記撮像画像において生じる歪みを補正する際に用いられる歪み補正処理領域を内包する領域を、前記切り出し範囲として設定することを特徴とする情報処理装置。
【請求項１５】
請求項１４において、
前記撮像画像の前記歪みは、
前記撮像部の撮像素子におけるローリングシャッターによる歪みであることを特徴とする情報処理装置。
【請求項１６】
請求項１４において、
前記撮像画像の前記歪みは、
前記撮像部の撮像素子における歪曲収差による歪みであることを特徴とする情報処理装置。
【請求項１７】
ネットワークを介して情報処理装置と通信を行う通信部と、
画像処理を行う画像処理部と、
を含み、
前記通信部は、
前記情報処理装置が、撮像部から取得した撮像画像に対して切り出し範囲を設定し、前記切り出し範囲に対応する領域の画像情報と、前記切り出し範囲の設定に用いられたパラメータとを、前記ネットワークを介して送信した場合に、送信された前記画像情報と前記パラメータとを受信し、
前記画像処理部は、
受信した前記パラメータに基づいて、受信した前記画像情報に対する補正処理を行うことを特徴とするサーバシステム。
【請求項１８】
請求項１７において、
前記画像情報に基づいて、前記画像情報におけるブレが高周波ブレによるものか、前記高周波ブレよりも低い周波数を有する低周波ブレによるものかを判定するための情報であるブレ判定情報を生成するブレ判定情報生成部を含み、
前記通信部は、
生成された前記ブレ判定情報を前記ネットワークを介して前記情報処理装置に対して送信することを特徴とするサーバシステム。
【請求項１９】
情報処理装置と、
サーバシステムと、
を含み、
前記情報処理装置は、
撮像部から撮像画像を取得する撮像画像取得部と、
前記サーバシステムにおける画像処理対象領域に対応する切り出し範囲を、取得した前記撮像画像に対して設定する切り出し範囲設定部と、
前記撮像画像のうち、前記切り出し範囲設定部により前記切り出し範囲に設定された領域の画像情報を、ネットワークを介して前記サーバシステムに送信する第１の通信部と、
を含み、
前記サーバシステムは、
前記撮像画像に対して前記情報処理装置が設定した前記切り出し範囲に対応する領域の画像情報を、前記情報処理装置からネットワークを介して受信するとともに、前記切り出し範囲の設定に用いられたパラメータを受信する第２の通信部と、
前記パラメータに基づいて、前記画像情報に対する補正処理を行う画像処理部と、
を含むことを特徴とする画像処理システム。
【請求項２０】
撮像部から撮像画像を取得する撮像画像取得部と、
取得した前記撮像画像に対してブレ補正処理を行う際に用いられるパラメータを設定するパラメータ設定部と、
前記撮像画像の画像情報及び前記パラメータを、ネットワークを介してサーバシステムに送信する通信部と、
を含むことを特徴とする情報処理装置。
【請求項２１】
撮像部から撮像画像を取得する撮像画像取得部と、
サーバシステムにおける画像処理対象領域に対応する切り出し範囲を、取得した前記撮像画像に対して設定する切り出し範囲設定部と、
前記撮像画像のうち、前記切り出し範囲設定部により前記切り出し範囲に設定された領域の画像情報を、ネットワークを介して前記サーバシステムに送信する通信部として、
コンピュータを機能させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図１６】
【図１７】
【図１８】
【図１９】
【公開番号】特開２０１３−５１０１（Ｐ２０１３−５１０１Ａ）
【公開日】平成２５年１月７日（２０１３．１．７）
【国際特許分類】
【出願番号】特願２０１１−１３２３９０（Ｐ２０１１−１３２３９０）
【出願日】平成２３年６月１４日（２０１１．６．１４）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２５年１月７日（２０１３．１．７）
【国際特許分類】
【出願日】平成２３年６月１４日（２０１１．６．１４）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]