画像処理装置、画像処理方法及びプログラム
【課題】鑑賞者が所望する視点で撮影されたのと等価な画像を容易に得ること。
【解決手段】オブジェクト画像取得部６１は、光軸方向を視点とする撮像画像を撮像する撮像部１０１及び撮像画像のデータを送信する送信部１０４を備えたオブジェクト１１であって、姿勢変化をしながら移動し得るオブジェクト１１から逐次送信される撮像画像のデータを、オブジェクト画像のデータとして逐次取得する。オブジェクト画像加工部６２は、オブジェクト画像取得部６１により逐次取得されたオブジェクト画像のデータを加工することで、オブジェクト又はそれ以外の物体（実物体又は仮想物体）に配置された仮想視点が所定の移動方向に移動しながら所定の眺望方向を眺めた様子を表わす画像のデータを、視点変換画像のデータとして生成する。出力制御部７１は、オブジェクト画像加工部６２により生成された視点変換画像のデータを出力する制御を実行する。
【解決手段】オブジェクト画像取得部６１は、光軸方向を視点とする撮像画像を撮像する撮像部１０１及び撮像画像のデータを送信する送信部１０４を備えたオブジェクト１１であって、姿勢変化をしながら移動し得るオブジェクト１１から逐次送信される撮像画像のデータを、オブジェクト画像のデータとして逐次取得する。オブジェクト画像加工部６２は、オブジェクト画像取得部６１により逐次取得されたオブジェクト画像のデータを加工することで、オブジェクト又はそれ以外の物体（実物体又は仮想物体）に配置された仮想視点が所定の移動方向に移動しながら所定の眺望方向を眺めた様子を表わす画像のデータを、視点変換画像のデータとして生成する。出力制御部７１は、オブジェクト画像加工部６２により生成された視点変換画像のデータを出力する制御を実行する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、鑑賞者が所望する視点で撮影されたのと等価な画像を容易に得ることを可能にする、画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
従来、サッカー等のスポーツ競技における放送に用いる映像の撮影では、定点カメラや、報道席のカメラマンが保持するカメラ等が用いられている。即ち、これらのカメラによって、遠方から望遠撮影されたスポーツ競技の映像が放送等されている。
【０００３】
しかしながら、このような遠方から撮像された映像では、たとえ望遠撮影等を織り交ぜたとしても、迫力に乏しいという印象を鑑賞者に与えてしまう。
【０００４】
そこで、サッカー等の球技について、より迫力のある映像を得るために、球技用のボールの中に、カメラやセンサを内蔵する技術が提案されている（例えば、特許文献１〜特許文献３参照）。このような技術を適用することで、ボール内のセンサが衝撃や加速度を検出したら、ボール内のカメラが所定の瞬間の画像を撮影することができるので、ボール視点とした画像の再生が可能になる。ただし、ボールは回転したり振動するので、落下するボール自体の姿勢制御を行うことで画像を安定化する技術も特許文献１に記載されている。
【０００５】
なお、サッカーや格闘技等、スポーツを模擬したゲーム機器も近年開発されている（例えば、特許文献４参照）。このようなゲーム機器では、所定のシーンを模擬した３次元ＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）を再構成して、リプレイ表示することができるようになっている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００７−１０４２５４号公報
【特許文献２】特開２００１−０４２４２０号公報
【特許文献３】特開２００７−１０４２３４号公報
【特許文献４】特開平０７−１１６３４３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１〜３の従来の技術を適用してボール視点の画像を得るためには、ボールは逐次姿勢変化していることから、当該ボール自身又は内蔵されたカメラの姿勢制御を逐次的確に行わなければならない。このためには、複雑な構造の大掛かりな設備が必要となり、ボール視点の画像を容易に得ることができなかった。
【０００８】
また、鑑賞者の中には、ボールだけではなく、選手等他のオブジェクトを視点とした画像を得ることを要求するものも多く存在するが、特許文献１〜３の従来の技術では当該要求に十分に応えることはできない。
【０００９】
また、特許文献４の従来の技術は、あくまでもゲームという仮想現実に適用可能な技術であり、現実のスポーツ等を撮像する技術にはそのまま適用することは困難である。
【００１０】
本発明は、このような状況に鑑みてなされたものであり、鑑賞者が所望する視点で撮影されたのと等価な画像を容易に得ることを目的とする。
【課題を解決するための手段】
【００１１】
上記目的を達成するため、本発明の一態様の画像処理装置は、
光軸方向を視点とする撮像画像を撮像する撮像部及び前記撮像画像のデータを送信する送信部を備えたオブジェクトであって、姿勢変化をしながら移動し得る前記オブジェクトから逐次送信される前記撮像画像のデータを、オブジェクト画像のデータとして逐次取得するオブジェクト画像取得手段と、
前記オブジェクト画像取得手段により逐次取得された前記オブジェクト画像のデータを加工することで、前記オブジェクト又はそれ以外の物体（実物体又は仮想物体）に配置された仮想視点が所定の移動方向に移動しながら所定の眺望方向を眺めた様子を表わす画像のデータを、視点変換画像のデータとして生成するオブジェクト画像加工手段と、
前記オブジェクト画像加工手段により生成された前記視点変換画像のデータを出力する制御を実行する出力制御手段と、
を備える。
【発明の効果】
【００１２】
本発明によれば、鑑賞者が所望する視点で撮影されたのと等価な画像を容易に得ることができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の第１実施形態に係る画像処理システムの概略的な構成を示す模式図であって、ボールのオブジェクトが視点として選択された場合の模式図である。
【図２】本発明の第１実施形態に係る画像処理システムの概略的な構成を示す模式図であって、選手のオブジェクトが視点として選択された場合の図である。
【図３】本発明の第１実施形態に係る画像処理システムの概略的な構成を示す模式図であって、競技場の周囲の仮想視点が選択された場合の図である。
【図４】図１〜図３の画像処理システムにより得られる、視点変換画像の各種具体例を示す図である。
【図５】図１〜図３の画像処理システムのうち画像処理装置のハードウェアの構成を示すブロック図である。
【図６】図５の画像処理装置の機能ブロック図である。
【図７】図６の画像処理装置が実行する画像表示処理の流れの一連を説明するフローチャートである。
【図８】図７の画像表示処理のうち、画像変換処理の詳細な流れの一連を説明するフローチャートである。
【図９】第２実施形態に係る画像変換処理の詳細な流れの一連を説明するフローチャートである。
【発明を実施するための形態】
【００１４】
［第１実施形態］
以下、本発明の第１実施形態について、図面を用いて説明する。
【００１５】
図１〜３は、本発明の第１実施形態に係る画像処理システムの概略的な構成を示す模式図である。
本実施形態に係る画像処理システム１０は、競技場で開催されるサッカーの試合を撮像する用途で設定されている。
このため、サッカーボール（以下、「ボール」と略記する）や選手等から、鑑賞者に提供される画像の視点となり得るオブジェクトがｍ個採用されるものとする。ここで、ｍは、１以上の任意の整数値であるが、本実施形態ではボール及び選手数と同一の値である「７」とする。
【００１６】
具体的には、図１は、ボールのオブジェクトが視点として選択された場合における、本実施形態に係る画像処理システムの概略構成を示している。
図１に示すように、本実施形態に係る画像処理システム１０においては、ボールであるオブジェクト１１−１及び各選手のそれぞれであるオブジェクト１１−２〜１１−７と、画像処理装置１２と、中継装置１３と、ｎ台の外部端末１４−１〜１４−ｎと、がネットワークＮを介して相互に接続されている。ネットワークＮは、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やインターネット等の任意のネットワークである。
以下、外部端末１４−１〜１４−ｎを個々に区別する必要がない場合、これらをまとめて、「外部端末１４」と単に呼ぶ。また、外部端末１４と呼んでいる場合には、その構成要素の符号についても、１〜ｎを省略して説明する。
また、以下、オブジェクト１１−１〜１１−７を個々に区別する必要がない場合、これらをまとめて、「オブジェクト１１」と単に呼ぶ。また、オブジェクト１１と呼んでいる場合には、その構成要素の符号についても、１〜７を省略して説明する。
オブジェクト１１は、詳細については図６を参照して説明するが、撮像部及び送信部を備えており、回転したり振動したりしながら姿勢変化しながら移動している最中に撮影した画像のデータを画像処理装置１２に逐次送信する。
【００１７】
図１に示すように、画像処理装置１２は、各オブジェクト１１−１〜１１−７のうち、ボールのオブジェクト１１−１を、視点として選択することができる。このように視点として選択されたオブジェクトを、以下、「選択オブジェクト」と呼ぶ。
この場合、画像処理装置１２は、移動方向Ａ１に移動している選択オブジェクト１１−１から逐次送信されてくる一連の画像（動画像）のデータを加工することによって、当該選択オブジェクト１１−１を視点として、その視点がブレや回転をすることなく移動方向Ａ１に移動していくような一連の画像（動画像）のデータを生成する。即ち、この場合、画像処理装置１２は、選択オブジェクト１１−１の移動方向Ａ１に基づく画像（動画像）のデータを生成する。
【００１８】
換言すると、移動方向Ａ１に移動している選択オブジェクト１１−１から逐次送信されてくる一連の画像（動画像）のデータとは、選択オブジェクト１１−１の実際の視点から眺めた様子を表わす画像のデータである。ここで、実際の視点とは、実空間を実際に撮像する撮像部の視点をいい、具体的には図１の例では、選択オブジェクト１１−１と連動して回転する、当該選択オブジェクト１１−１の撮像部の実際の視点をいう。
これに対して、画像処理装置１２による生成後のデータとは、選択オブジェクト１１−１が実際に回転していても、ブレや回転をすることなく移動方向Ａ１に移動していく仮想視点から眺めた様子を表わす画像のデータである。ここで、仮想視点とは、撮像部以外の実物体又は仮想物体に可変可能に配置される仮想的な視点をいう。具体的には図１の例では、仮想視点は、選択オブジェクト１１−１に配置されるが、実際の視点のように固定的に配置されるのではなく、水平方向は常に一定方向を眺望するように（その結果回転することなく移動方向Ａ１に移動していくように）可変配置される仮想的な視点である。
従って、画像処理装置１２は、選択オブジェクト１１−１の実際の視点から眺めた様子を表わす画像のデータを、回転することなく移動方向Ａ１に移動していく仮想視点から眺めた様子を表わす画像のデータに変換している、と把握することもできる。
【００１９】
図２は、選手のオブジェクトが視点として選択された場合における、本実施形態に係る画像処理システムの概略構成を示している。
図１に示すボールのオブジェクト１１−１の他、各選手のオブジェクト１１−２〜１１−７の中からも、視点となる選択オブジェクトの設定が可能である。図２の例では、オブジェクト１１−３が選択オブジェクトに設定されている。
この場合、画像処理装置１２は、移動方向Ａ３に移動している選択オブジェクト１１−３から逐次送信されてくる一連の画像（動画像）のデータを加工することによって、当該選択オブジェクト１１−３を視点として、その視点がブレることなく移動方向Ａ３に移動していくような一連の画像（動画像）のデータを生成する。即ち、この場合、画像処理装置１２は、選択オブジェクト１１−３の移動方向Ａ３に基づく画像（動画像）のデータを生成する。
【００２０】
換言すると、移動方向Ａ３に移動している選択オブジェクト１１−３から逐次送信されてくる一連の画像（動画像）のデータとは、選択オブジェクト１１−３の実際の視点（図２の例では、選択オブジェクト１１−３自体が移動方向Ａ３とは別の方向に揺れれば、その別の方向にブレが生じる選択オブジェクト１１−３の撮像部の視点）から眺めた様子を表わす画像のデータである。
これに対して、画像処理装置１２による生成後のデータとは、選択オブジェクト１１−３が移動方向Ａ３とは別の方向に揺れたりしても、その別の方向にブレることなく移動方向Ａ３に移動していく仮想視点から眺めた様子を表わす画像のデータである。ここで、図２の例の仮想視点は、選択オブジェクト１１−３に配置されるが、実際の視点のように固定的に配置されるのではなく、水平方向は常に一定方向を眺望するように（その結果ブレることなく移動方向Ａ３に移動していくように）可変配置される仮想的な視点である。
従って、画像処理装置１２は、選択オブジェクト１１−３の実際の視点から眺めた様子を表わす画像のデータを、ブレることなく移動方向Ａ３に移動していく仮想視点から眺めた様子を表わす画像のデータに変換している、と把握することもできる。
【００２１】
図３は、競技場の周囲の仮想視点１５−１〜１５−３が選択された場合における、本実施形態に係る画像処理システムの概略構成を示している。
仮想視点は、図１に示すボールのオブジェクト１１−１や、図２に示す各選手のオブジェクト１１−２〜１１−７に配置するのみならず、オブジェクト１１−７以外の任意の位置（当該位置に存在する仮想物体と把握してもよい）や実物体に配置することが可能である。図３の例では、競技場の周囲の位置の仮想物体に仮想視点１５−１〜１５−３の各々が配置可能とされている。
この場合、画像処理装置１２は、各オブジェクト１１−１〜１１−７のそれぞれから逐次送信されてくる一連の画像（動画像）のデータの中から、１以上の画像のデータを選択し、選択した画像のデータを加工することによって、仮想視点１５−１〜１５−３のうちの少なくとも１つから眺めた様子を表わす一連の画像（動画像）のデータを生成する。
【００２２】
換言すると、各オブジェクト１１−１〜１１−７のそれぞれから逐次送信されてくる一連の画像（動画像）のデータの中から選択されたものとは、１以上のオブジェクト１１の各々の実際の視点から眺めた様子を表わす画像のデータである。
これに対して、仮想視点１５−１〜１５−３を結ぶ方向を移動方向と捉え、移動速度０の場合も移動の一形態と捉えるならば、画像処理装置１２による生成後のデータとは、回転やブレ等生ずることなく移動方向に所定の移動速度（移動速度０の場合も含む）で移動していく仮想視点１５−１〜１５−３の少なくとも１つから眺めた様子を表わす画像のデータである。
より具体的には、移動速度が０を超えている場合には、仮想視点１５−１〜１５−３の各々は同一の移動物体に固定配置（眺める方向（以下、「眺望方向」と呼ぶは可変可能）されていると把握される。ここでいう移動物体は、競技場に現存する実物体のみならず、仮想物体も含む。この場合、当該移動物体が移動方向に所定の移動速度で連続的に移動していくのに伴い、１つの仮想視点が連続的に移動していくことになる。この１つの仮想視点は移動中に３か所の位置を通過することになるが、３か所のそれぞれの位置を通過した時点の様子が、仮想視点１５−１〜１５−３の各々として図３に描画されていると把握することができる。
これに対して、移動速度が０の場合には、仮想視点１５−１〜１５−３は、相互に離間した３つの静止物体（３つの定点）に固定配置（眺望方向は可変可能）されると把握される。即ち、仮想視点１５−１〜１５−３は定点カメラと同様の振る舞いとなり、複数の定点カメラが適宜切り換えられて放送されるのと同様に、固定の仮想視点１５−１〜１５−３の各々が適宜変更されると把握することができる。従って、画像処理装置１２は、１以上のオブジェクト１１の各々の実際の視点から眺めた様子を表わす画像のデータを、回転やブレ等生ずることなく移動方向に所定の移動速度（移動速度０の場合も含む）移動していく物体に配置された仮想視点（仮想視点１５−１〜１５−３を含む）から眺めた様子を表わす画像のデータに変換している、と把握することもできる。この場合、画像処理装置１２は、オブジェクト１１とは別の物体に配置された仮想視点が移動した場合の一連の画像（動画像）のデータを生成する。
【００２３】
以上説明したように、画像処理装置１２は、オブジェクト１１の実際の視点から眺めた様子を表わす画像のデータを、所定の移動方向に移動していく仮想視点から所定の方向（以下、「眺望方向」と適宜呼ぶ）を眺めた様子を表わす画像のデータに変換することができる。そこで、以下、所定の移動方向に移動していく仮想視点から眺望方向を眺めた様子を表わす画像のデータを、「視点変換画像のデータ」と呼ぶ。
【００２４】
図４は、このようにして画像処理装置１２によって生成される視点変換画像の各種具体例を示している。
【００２５】
図４（１）は、ボールのオブジェクト１１−１の実際の視点（回転をしながら移動方向Ａ１に移動する視点）から眺めた様子を表わす一連の画像（動画像）から変換されたものであり、回転を伴わずに移動方向Ａ１に移動していく仮想視点から眺めた様子を表わす視点変換画像である。
【００２６】
なお、図４（１）の視点変換画像の生成手法は、特に限定されないが、例えば、次のような手法を採用することができる。
即ち、ボールのオブジェクト１１−１は、上述の如く、回転をしながら移動方向Ａ１に移動している。例えば、水平方向を軸にして回転しているものとする。
この場合、オブジェクト１１−１に内蔵されているカメラの光軸方向も回転していく。従って、当該カメラからは、図示はしないが、
（ａ）光軸が移動方向Ａ１と一致した際の撮像画像（ゴールＧ１を被写体として含む撮像画像）、
（ｂ）光軸が移動方向Ａ１よりも上方向に回転した際の撮像画像（空を被写体として含む撮像画像）、
（ｃ）光軸が移動方向Ａ１と反対方向に回転した際の撮像画像（反対側のゴールＧ２を被写体として含む撮像画像）、
（ｄ）光軸が移動方向Ａ１よりも下方向に回転した際の撮像画像（地面を被写体として含む撮像画像）といった各データを１単位として、
この１単位のデータ（ただし、移動方向Ａ１に移動しながらゴールＧ１に近付いていくデータ）が繰り返し出力されていくことになる。
そこで、画像処理装置１２は、このような１単位のデータ毎に、（１）光軸が移動方向Ａ１と一致した際の撮像画像（ゴールＧ１を被写体として含む撮像画像）のデータのみを抽出していく。
ボールの回転速度が速ければ、このようにして抽出された各撮像画像のデータの集合体は、各撮像画像間の時間間隔は短くスムーズな動画像のデータになるので、回転を伴わずに移動方向Ａ１に移動していく仮想視点から眺めた様子を表わす視点変換画像（動画像）のデータとしてそのまま採用してもよい。
ただし、ボールの回転速度が遅ければ、このようにして抽出された各撮像画像のデータの集合体は、各撮像画像間の時間間隔は長くスムーズな動画像のデータとはならないため、回転を伴わずに移動方向Ａ１に移動していく仮想視点から眺めた様子を表わす視点変換画像（動画像）のデータとしてそのまま採用することは不適である。
そこで、このような場合には、画像処理装置１２は、各撮像画像のデータの時間方向の合間に、補間或いは創造した新たな画像のデータを挿入すればよい。時間方向への新たな画像の補間或いは創造の手法は、公知の任意の手法を採用することができる。即ち、第１の画像と第２の画像との間に時間方向に補完される画像は、特に限定されず、公知の任意の手法により得られる任意の画像であってもよいし、第１の画像又は第２の画像そのものであってもよい。また、時間方向への新たな画像の創造の公知の手法としては、例えば特開２００４−２６６３８１号公報等に開示されている。
【００２７】
また、本実施形態では、オブジェクト１１−１に内蔵されているカメラの撮像画像のデータのうち、（ａ）光軸が移動方向Ａ１と一致した際の撮像画像（ゴールＧ１を被写体として含む撮像画像）のデータのみが抽出されたが、抽出対象は特にこれに限定されない。例えば、光軸が移動方向Ａ１よりも上又は下方向に若干回転した際の撮像画像のデータであっても、補正をすることで、光軸が移動方向Ａ１と一致した際の撮像画像と等価なデータになるのであれば、抽出対象に加えてもよい。
【００２８】
さらに、ボールのオブジェクト１１−１が、移動方向Ａ１及び回転方向とは別方向に揺れているような場合には、画像処理装置１２は、公知の「手ぶれ補正」を採用して、当該揺れを除去するようにすればよい。
「手ぶれ補正」とは、撮像画像内の手ぶれの領域を画像処理により補正する手法をいう。
公知の「手ぶれ補正」として、動画像のうちの何枚かの連続するフレーム群や、連写により連続して得られた何枚かの静止画像群を処理対象にして、処理対象の各画素のデータをそれぞれ加算平均することで、処理対象を合成する手法、即ちいわゆるマルチプレーン加算方式が用いられている。
なお、以下、マルチプレーン加算方式により処理対象（フレーム群や静止画像群）が合成された結果得られる画像を、「合成画像」と呼ぶ。
ここで、マルチプレーン加算方式において、フレーム群や静止画像群の全画素（全領域）が加算平均の対象になると、その結果得られる合成画像においては、手ぶれの領域は有効に補正されているが、動被写体の領域では、単純に合成されたことに起因してボケが生じてしまう。
そこで、このような動被写体のボケを低減すべく、動被写体以外の領域のみを加算平均する一方、動被写体の領域については加算平均しない手法が、特開２００９−２９０８２７号公報に開示されている。
画像処理装置１２は、このように特開２００９−２９０８２７号公報に開示された公知の「手ぶれ補正」を採用することで、ボールのオブジェクト１１−１の揺れを除去した視点変換画像のデータを生成することができる。
【００２９】
ここで、視点変換画像における仮想視点の眺望方向は、当該仮想視点の移動方向と一致していてもよいし、一致していなくてもよい。
即ち、図４（１）は、仮想視点の眺望方向が移動方向Ａ１と一致している場合の視点変換画像を示している。
一方、図４（２）は、ボールのオブジェクト１１−１の実際の視点から眺めた様子を表わす一連の画像（動画像）から変換されたものであり、回転を伴わずに移動方向Ａ１に移動していく仮想視点から眺めた様子を示す視点変換画像を示している点は図４（１）と同様であるが、仮想視点の眺望方向が移動方向Ａ１の左方９０度となっている点が図４（１）と異なる。
なお、図４（２）の視点変換画像の生成手法は、特に限定されず、例えば、ボールのオブジェクト１１−１に内蔵されているカメラのレンズの光軸方向が自在に変更可能な場合には、当該光軸方向をオブジェクト１１−１の移動方向Ａ１の左方９０度に変更した上で、図４（１）の視点変換画像の生成手法と同様の手法を採用すればよい。一方、ボールのオブジェクト１１−１に内蔵されているカメラのレンズの光軸方向が固定の場合には、当該オブジェクト１１−１に内蔵されているカメラの撮像画像のデータに加えて、各選手のオブジェクト１１−２〜１１−７のそれぞれに内蔵されているカメラの各撮像画像のデータを適宜用いて、図４（２）の視点変換画像を生成する手法を採用すればよい。
【００３０】
図４（３）は、選手のオブジェクト１１−３の実際の視点（揺れながら移動方向Ａ３に移動する視点）から眺めた様子を示す一連の画像（動画像）から変換されたものであり、ブレを伴わずに移動方向Ａ３に移動していく仮想視点から、移動方向Ａ３と同一方向を眺望方向として眺めた様子を示す視点変換画像を示している。
なお、図４（３）の視点変換画像の生成手法は、特に限定されず、例えば、図４（１）の生成手法（特に手ぶれ補正）と同様な手法を採用すればよい。
図４（４）は、選手のオブジェクト１１−３の実際の視点から眺めた様子を示す一連の画像（動画像）から変換されたものであり、ブレを伴わずに移動方向Ａ３に移動していく仮想視点から、移動方向Ａ３の左方９０度の方向を眺望方向として眺めた様子を示す視点変換画像を示している。
なお、図４（４）の視点変換画像の生成手法は、特に限定されず、例えば、図４（２）の生成手法と同様な手法を採用すればよい。
【００３１】
図４（５）は、オブジェクト１１−１〜１１−７の各々の実際の視点から眺めた様子を示す一連の画像（動画像）から変換されたものであり、回転やブレを伴わずに移動方向に移動速度０で移動していく仮想視点１５−１（即ち固定された仮想視点１５−１）から、それが仮想配置された競技場Ｆの手前左側コーナーから右斜め４５度の方向を眺望方向として眺めた様子を示す視点変換画像を示している。
図４（６）は、オブジェクト１１−１〜１１−７の各々の実際の視点から眺めた様子を示す一連の画像（動画像）から変換されたものであり、回転やブレを伴わずに移動方向に移動速度０で移動していく仮想視点１５−２（即ち固定された仮想視点１５−２）から、それが仮想配置された競技場Ｆの手前センターラインから正面方向を眺望方向として眺めた様子を示す視点変換画像を示している。
図４（７）は、オブジェクト１１−１〜１１−７の各々の実際の視点から眺めた様子を示す一連の画像（動画像）から変換されたものであり、回転やブレを伴わずに移動方向に移動速度０で移動していく仮想視点１５−３（即ち固定された仮想視点１５−３）から、それが仮想配置された競技場Ｆの手前右側コーナーから左斜め４５度の方向を眺望方向として眺めた様子を示す視点変換画像を示している。
【００３２】
なお、上述の如く、仮想視点１５−１〜１５−３は、オブジェクト１１以外の移動物体（仮想物体含む）に配置された１つの仮想視点が、その移動中に３つの位置をそれぞれ通過した際の様子を示すものと把握することもできる。この場合、図４（５）、図４（６）、及び図４（７）を含む複数の視点変換画像が連続的に、即ち一連の画像（動画像）として順次表示されることになる。
【００３３】
図１に戻り、中継装置１３は、ネットワークＮを介して接続される画像処理装置１２と、外部端末１４との間で授受される各種情報、例えば視点変換画像のデータを中継する。
【００３４】
外部端末１４は、例えばスマートフォン等で構成されおり、例えば画像処理装置１２から中継装置１３を経由して送信されてきた視点変換画像のデータを受信すると、当該視点変換画像をディスプレイ等に表示する。
ここで、ネットワークＮがインターネットであるならば、外部端末１４は、視点変換画像のデータの取得要求等の指示を、例えばＨＴＴＰ（Ｈｙｐｅｒｔｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）によるＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）要求により行うことができる。
さらに、外部端末１４は、各種制御信号を中継装置１３を介して画像処理装置１２に送信することで、選択オブジェクトの変更指示等の遠隔制御を実行できる。
【００３５】
次に、このような本実施形態の画像処理システム１０のうち、主要構成要素たる画像処理装置１２の構成について説明する。
［画像処理装置１２］
図５は、本実施形態に係る画像処理装置１２のハードウェアの構成を示すブロック図である。
【００３６】
画像処理装置１２は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３３と、画像処理部３４と、バス３５と、入出力インターフェース３６と、入力部３７と、表示部３８と、記憶部３９と、通信部４０と、ドライブ４１と、を備えている。
【００３７】
ＣＰＵ３１は、ＲＯＭ３２に記録されているプログラム、又は、記憶部３９からＲＡＭ３３にロードされたプログラムに従って各種の処理を実行する。
【００３８】
ＲＡＭ３３には、ＣＰＵ３１が各種の処理を実行する上において必要なデータ等も適宜記憶される。
【００３９】
画像処理部３４は、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）や、ＶＲＡＭ（Ｖｉｄｅｏ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等から構成されており、ＣＰＵ３１と協働して、画像のデータに対して各種画像処理を施す。
【００４０】
ＣＰＵ３１、ＲＯＭ３２、ＲＡＭ３３及び画像処理部３４は、バス３５を介して相互に接続されている。このバス３５にはまた、入出力インターフェース３６も接続されている。入出力インターフェース３６には、入力部３７、表示部３８、記憶部３９、通信部４０及びドライブ４１が接続されている。
【００４１】
入力部３７は、キーボードやマウス等で構成され、ユーザの指示操作に応じて各種情報を入力する。
表示部３８は、ディスプレイにより構成され、各種画像、例えば上述の視点変換画像を表示する。
記憶部３９は、ハードディスク或いはＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、各種画像、例えば上述の視点変換画像のデータを記憶する。
通信部４０は、インターネットを含むネットワークＮを介して他の装置、例えば画像処理システム１０内のオブジェクト１１（図１参照）や外部端末１４（図１参照）との間で行う通信を制御する。
【００４２】
ドライブ４１には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア５１が適宜装着される。ドライブ４１によってリムーバブルメディア５１から読み出されたプログラムは、必要に応じて記憶部３９にインストールされる。また、リムーバブルメディア５１は、記憶部３９に記憶されている画像のデータ等の各種データも、記憶部３９と同様に記憶することができる。
【００４３】
図６は、このような各構成要素を含む画像処理装置１２の機能的構成のうち、画像表示処理を実行するための機能的構成を示す機能ブロック図である。
本明細書における画像表示処理とは、次のような一連の処理をいう。即ち、画像処理装置１２は、選択オブジェクトから送信された画像のデータに基づいて、所定の移動方向に移動（移動速度０による移動、即ち静止も含む）を行う仮想視点から眺めた様子を示す視点変換画像のデータを生成し、当該視点変換画像を表示部３８に表示したり、当該視点変換画像のデータを外部端末１４に送信する制御処理を実行する。
【００４４】
ここで、画像処理装置１２の機能的構成の理解を容易なものとすべく、その詳細な説明の前に、オブジェクト１１の構成について説明する。
図６に示すように、オブジェクト１１は、撮像部１０１と、センサ部１０２と、オブジェクトデータ生成部１０３と、送信部１０４と、を備える。
【００４５】
撮像部１０１は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。
【００４６】
光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。
【００４７】
イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）等から構成される。
光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。
ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部１０１の出力信号として出力される。
このような撮像部１０１の出力信号を、以下、「オブジェクト画像のデータ」と呼ぶ。オブジェクト画像のデータは、オブジェクトデータ生成部１０３に適宜供給される。即ち、撮像部１０１は、周囲の空間を連続撮影し、その結果得られる連写画像や動画像のデータを、バッファ（図示せず）に一次記憶しながら順次圧縮符号化して、送信部１０４を介して画像処理装置１２に送信する。
【００４８】
なお、本実施形態においては、光学レンズ部は１つ形成されているがこれに限られるものではない。例えば、光学レンズ部を複数個備えていてもよい。
また、光学レンズ部の光軸方向は、任意の方向に変更可能であってもよいし、固定であってもよい。
【００４９】
センサ部１０２は、ピエゾ抵抗型もしくは静電容量型の検出機構を備える３軸加速度センサにより構成され、当該検出機構を用いて、加速度の３軸（Ｘ，Ｙ，Ｚ）成分を検出し、その検出結果を示すデータを出力する。なお、センサ部１０２の検出結果を示すデータを、以下、「３軸加速度データ」と呼ぶ。３軸加速度データは、オブジェクトデータ生成部１０３に適宜供給される。
ここで、３軸加速度データのうち、Ｘ成分はオブジェクト１１の垂直方向の振動周期に、Ｙ成分はオブジェクト１１の水平方向の振動周期に、Ｚ成分はオブジェクト１１の進行方向の振動周期に、それぞれ対応する。
【００５０】
また、センサ部１０２は、任意の姿勢（傾斜角度）状態においても、傾斜角度に応じて補正した３軸加速度データを出力することができる。従って、センサ部１０２は、傾斜角度に応じて補正された３軸加速度データに対応して、ジャイロセンサを用いた傾斜センサ（図示せず）等から出力するデータを補正するようにする。これによって、オブジェクト１１に遠心力等の外力がかかる動状態で使用するような場合、例えば移動中に被写体を撮像するような場合でも、各種データの正確な取得及び正確な測位演算が実行可能になる。
ただし、後述するように、本実施形態の画像処理装置１２は、当該センサ部１０２から出力される３軸加速度データを用いずに、撮像部１０１から出力されるオブジェクト画像のデータを用いた画像処理を実行することで、視点変更画像のデータを生成するようにしている。
【００５１】
オブジェクトデータ生成部１０３は、撮像部１０１から出力された動画像を含むオブジェクト画像のデータに対して、センサ部１０２から出力された３軸加速度データを付加することによって、オブジェクトデータを生成する。例えば、オブジェクト画像が動画像である場合には、当該動画像を構成する各フレームやフィールド（これらを「単位画像」と呼ぶ）を単位として、単位画像毎にオブジェクトデータが生成される。
これにより、処理対象の単位画像が、撮像部１０１の光軸がどの方向に向いたときに撮像された画像であるのか容易に判断することができる。
【００５２】
送信部１０４は、オブジェクトデータ生成部１０３により生成された動画像を含むオブジェクトデータを単位画像を単位として、画像処理装置１２へ無線送信する。
【００５３】
このような構成のオブジェクト１１を用いて画像表示処理が実行される場合には、図６に示すように、画像処理装置１２の画像処理部３４において、オブジェクト画像取得部６１と、オブジェクト画像加工部６２と、が機能する。また、ＣＰＵ３１において、出力制御部７１と、視点変更部７２と、オブジェクト変更部７３と、制御信号受信部７４と、が機能する。
ただし、図６は例示であり、画像処理部３４の機能の少なくとも一部をＣＰＵ３１に委譲してもよいし、逆に、ＣＰＵ３１の機能の少なくとも一部を画像処理部３４に委譲してもよい。
また、画像処理装置１２の記憶部３９の一領域として、オブジェクトデータ記憶部８１と、参照情報記憶部８２と、が設けられている。なお、オブジェクトデータ記憶部８１及び参照情報記憶部８２が記憶部３９の一領域として設けられていることは例示であって、その他例えばリムーバブルメディア５１の一領域として設けられるようにしてもよい。
【００５４】
オブジェクトデータ記憶部８１は、オブジェクト１１から逐次送信されて画像処理装置１２に受信されたオブジェクトデータを逐次記憶する。オブジェクトデータは、オブジェクト１１−１〜１１−７毎にそれぞれ独立してオブジェクトデータ記憶部８１に記憶される。
【００５５】
参照情報記憶部８２は、視点変換画像を生成する上で参照される情報、例えば、競技場の各種位置において各種方向をそれぞれ予め撮像した撮像画像のデータを記憶する。
【００５６】
オブジェクト画像取得部６１は、オブジェクトデータ記憶部８１にオブジェクト１１毎に記憶されているオブジェクトデータのうち、選択オブジェクト１１のオブジェクトデータを含む、視点変換画像のデータの生成に必要な１以上のオブジェクト１１の各々のオブジェクトデータを取得して、オブジェクト画像加工部６２へ供給する。
なお、オブジェクトデータ記憶部８１にオブジェクト１１毎に記憶されているオブジェクトデータが動画像データである場合には、オブジェクト画像取得部６１は、当該動画像データをオブジェクトデータとして取得し、オブジェクト画像加工部６２へ供給する。
【００５７】
オブジェクト画像加工部６２は、オブジェクト画像取得部６１により取得された１以上のオブジェクトデータに基づいて、所定の移動方向に移動（移動速度０による移動、即ち静止も含む）を行う仮想視点から眺望方向に眺めた様子を示す視点変換画像のデータを生成する。
具体的には、オブジェクト画像加工部６２は、姿勢変化算出部９１と、移動方向算出部９２と、画像変換部９３と、を備える。
なお、オブジェクト画像取得部６１により取得されたオブジェクトデータに動画像データが含まれる場合には、オブジェクト画像加工部６２は、当該動画像データを加工することで、視点変換画像のデータを動画像データとして生成する。
【００５８】
姿勢変化算出部９１は、オブジェクトデータ記憶部８１に記憶されているオブジェクトデータの履歴から、選択オブジェクト１１等の姿勢変化を単位画像毎に算出する。
姿勢変化の算出手法は、特に限定されず、選択オブジェクト１１等の３軸加速度データを用いて算出する手法を採用してもよいが、本実施形態では、選択オブジェクト１１等のオブジェクト画像のデータについての前後の単位画像間の差分を用いて算出する手法を採用している。
【００５９】
移動方向算出部９２は、オブジェクトデータ記憶部８１に記憶されているオブジェクトデータの履歴から、選択オブジェクト１１の移動方向を単位画像毎に算出する。
移動方向の算出手法は、特に限定されず、選択オブジェクト１１等の３軸加速度データを用いて算出する手法を採用してもよいが、本実施形態では、選択オブジェクト１１等のオブジェクト画像のデータについての前後の単位画像間の差分を用いて算出する手法を採用している。
【００６０】
画像変換部９３は、姿勢変化算出部９１により算出された姿勢変化及び移動方向算出部９２により算出された移動方向に応じて、オブジェクト画像取得部６１により単位画像毎に取得されるオブジェクト画像のデータを加工することによって、当該移動方向に移動を行う仮想視点から眺望方向に眺めた様子を示す視点変換画像のデータを生成する。
ここで、仮想視点は、選択オブジェクト１１における仮想視点の他、任意の位置の物体（仮想物体含む）に配置された仮想視点（例えば図３の仮想視点１５−１〜１５−３）も含む。また、仮想視点の移動とは、移動速度が０の移動、即ち静止状態も含む。
オブジェクト画像加工部６２は、生成した視点変換画像のデータをオブジェクトデータ記憶部８１に記憶する。
【００６１】
出力制御部７１は、オブジェクト画像加工部６２により生成された視点変換画像のデータの出力を制御する。
ここで、視点変換画像のデータの出力の形態は、特に限定されないが、本実施形態では、画像処理装置１２の表示部３８に表示出力する形態と、外部端末１４に送信出力する形態とがある。
即ち、出力制御部７１は、視点変換画像を表示部３８に表示する制御と、視点変換画像のデータを通信部４０及びネットワークＮを介して外部端末１４へ送信する制御とを実行する。
なお、オブジェクト画像加工部６２により生成された視点変換画像のデータが動画像データである場合には、出力制御部７１は、動画像データとして生成された視点変換画像のデータの出力を制御する。
【００６２】
視点変更部７２は、入力部３７に対してなされた操作、又は外部端末１４からの遠隔操作が視点の変更を指示する操作（以下、「視点変更指示操作」と呼ぶ）であった場合、オブジェクト画像加工部６２により生成される視点変換画像のデータについての仮想視点の配置先を変更する。視点変更部７２が変更対象とする仮想視点の配置候補となるオブジェクト又はそれ以外の物体（仮想物体含む）は複数存在する。
ここで、仮想視点の配置先の変更とは、仮想視点の位置（対象）の変更と、仮想視点の眺望方向の変更とを含む。仮想視点の位置（対象）の変更とは、オブジェクト１１−１〜１１−７の各々における仮想視点、及び、任意の位置の仮想視点（図３の仮想視点１５−１〜１５−３等）のうち、指定された仮想視点を選択することをいう。仮想視点の眺望方向の変更とは、仮想視点の位置は保持したまま、仮想視点が眺める方向を任意に変更することをいう。
【００６３】
オブジェクト変更部７３は、入力部３７に対してなされた操作、又は外部端末１４からの遠隔操作が選択オブジェクトの変更を指示する操作（以下、「オブジェクト変更指示操作」と呼ぶ）に基づいて、複数のオブジェクト１１−１〜１１−７の中から選択オブジェクトを変更する。
【００６４】
制御信号受信部７４は、外部端末１４から送信された制御信号を、ネットワークＮ及び通信部４０を介して受信する。即ち、外部端末１４は、上述の如く各種指示を制御信号として送信することで、画像処理装置１２を遠隔操作することができる。このような遠隔操作の対象となる制御信号としては、視点変更部７２に対して視点変更を指示する制御信号や、オブジェクト変更部７３に対して選択オブジェクトを指示する制御信号が存在する。
【００６５】
以上、本実施形態の画像処理装置１２の機能的構成について説明した。続いて、図７を参照して、このような機能的構成を備える画像処理装置１２が実行する画像表示処理について説明する。
図７は、図６の機能的構成を備える画像処理装置１２が実行する画像表示処理の一連の流れを説明するフローチャートである。
【００６６】
画像処理装置１２の入力部３７を操作するユーザは、画像表示処理の開始を指示する所定の操作をすることができる。
画像表示処理は、このようなユーザによる所定の操作を契機として開始され、次のような処理が実行される。
【００６７】
ステップＳ１１において、ＣＰＵ３１及び画像処理部３４の図６に示す各機能ブロックは、後述の図８を参照して説明する画像変換処理を実行することで、視点変換画像のデータを生成して、オブジェクトデータ記憶部８１に記憶させる。
【００６８】
ステップＳ１２において、ＣＰＵ３１の出力制御部７１は、オブジェクトデータ記憶部８１に記憶されているデータのうち、ステップＳ１１の画像変換処理でオブジェクト画像加工部６２により生成された視点変換画像のデータを取得し、当該視点変換画像を表示部３８に表示させる。
【００６９】
ステップＳ１３において、出力制御部７１は、ステップＳ１２の処理で表示対象となった視点変換画像のデータを、通信部４０及びネットワークＮを介して外部端末１４に送信する。
【００７０】
ステップＳ１４において、視点変更部７２は、視点変更操作の指示を受け付けたか否かを判定する。
視点変更操作の指示を受けた場合には、ステップＳ１４においてＹＥＳであると判定されて、処理はステップＳ１５に進む。
【００７１】
ステップＳ１５において、視点変更部７２は、オブジェクト画像加工部６２により生成される視点変換画像についての仮想視点を変更する。この処理が終了すると、処理はステップＳ２０に進む。ただし、ステップＳ２０以降の処理については後述する。
【００７２】
これに対して、視点変更操作の指示を受けていない場合には、ステップＳ１４においてＮＯであると判定されて、処理はステップＳ１６に進む。
【００７３】
ステップＳ１６において、オブジェクト変更部７３は、オブジェクト選択操作の指示を受け付けたか否かを判定する。
オブジェクト変更操作の指示を受けた場合には、ステップＳ１６においてＹＥＳであると判定されて、処理はステップＳ１７に進む。
【００７４】
ステップＳ１７において、オブジェクト変更部７３は、選択オブジェクトを、複数のオブジェクト１１−１〜１１−７の中から選択した１つに変更する。この処理が終了すると、処理はステップＳ２０に進む。ただし、ステップＳ２０以降の処理については後述する。
【００７５】
これに対して、オブジェクト変更操作の指示を受けていない場合には、ステップＳ１６においてＮＯであると判定されて、処理はステップＳ１８に進む。
ステップＳ１８において、制御信号受信部７４は、外部端末１４から制御信号を受信したか否かを判定する。外部端末１４から制御信号を受信していない場合には、ステップＳ１８においてＮＯであると判定されて、処理はステップＳ２０に進む。ただし、ステップＳ２０以降の処理については後述する。
【００７６】
これに対して、外部端末１４から制御信号を受信した場合には、ステップＳ１８においてＹＥＳであると判定されて処理はステップＳ１９に進む。
ステップＳ１９において、視点変更部７２又はオブジェクト変更部７３は、受信した制御信号に応じて、仮想視点又は選択オブジェクトを変更する。
この処理では、視点変更指示操作を示す制御信号であった場合には、当該制御信号が視点変更部７２に供給され、ステップＳ１５の処理と同様の処理が実行されて、仮想視点が変更される。また、オブジェクト変更指示操作を示す制御信号であった場合には、当該制御信号がオブジェクト変更部７３に供給され、ステップＳ１７の処理と同様の処理が実行されて、選択オブジェクトが変更される。なお、視点変更指示操作及びオブジェクト変更指示操作の両者を含む制御信号であった場合には、仮想視点と選択オブジェクトの両者が変更される。この処理が終了すると処理はステップＳ２０に進む。
【００７７】
ステップＳ２０において、出力制御部７１は、画像表示処理の終了指示を受けたか否かを判定する。
終了指示を受けていない場合には、ステップＳ２０においてＮＯであると判定されて、処理はステップＳ１１に戻る。即ち、画像表示処理の終了指示が受け付けるまでの間、ステップＳ１１乃至ステップＳ２０の処理が繰り返し実行される。そして、画像表示処理の終了指示が受け付けられると、ステップＳ２０においてＹＥＳであると判定されて、画像表示処理は終了となる。
【００７８】
次に、図８を参照して、図７の画像表示処理のうち、ステップＳ１１の画像変換処理の詳細な流れについて説明する。
図８は、図７の画像表示処理のうち、第１実施形態に係る画像変換処理について説明するフローチャートである。
なお、図８には、選択オブジェクト１１が仮想視点となって視点変換画像が生成される場合であって、選択オブジェクト１１からのオブジェクトデータには、オブジェクト画像のデータのみが含まれている場合を例とした画像変換処理が示されている。
【００７９】
ステップＳ３１において、通信部４０は、選択オブジェクト１１からのオブジェクト画像のデータを、ネットワークＮを介して逐次受信する。
ステップＳ３２において、通信部４０は、オブジェクト画像のデータを、それが撮像された時刻（近似的に現時刻でもよい）と対応付けてオブジェクトデータ記憶部８１に記憶させる。
【００８０】
ステップＳ３３において、姿勢変化算出部９１は、オブジェクトデータ記憶部８１に記憶されているオブジェクト画像のデータの履歴から、選択オブジェクト１１の姿勢変化を算出する。
【００８１】
ステップＳ３４において、移動方向算出部９２は、オブジェクトデータ記憶部８１に記憶されているオブジェクト画像のデータの履歴から、選択オブジェクト１１の移動方向を算出する。
【００８２】
ステップＳ３５において、画像変換部９３は、ステップＳ３３において姿勢変化算出部９１が算出した姿勢変化と、ステップＳ３４において移動方向算出部９２が算出した移動方向とに応じた画像変換を行うことで、移動方向に移動する選択オブジェクト１１を仮想視点として、当該仮想視点が所定の眺望方向に眺めた様子を示す視点変換画像のデータを生成する。
この処理が終了すると、画像変換処理は終了となり、即ち、図７のステップ１１の処理が終了し、処理はステップＳ１２に進む。
【００８３】
以上説明したように、本実施形態の画像処理装置１２は、オブジェクト画像取得部６１と、オブジェクト画像加工部６２と、出力制御部７１と、を具備する。
オブジェクト画像取得部６１は、光軸方向を視点とする撮像画像を撮像する撮像部１０１及び撮像画像のデータを送信する送信部１０４を備えたオブジェクト１１であって、姿勢変化をしながら移動し得るオブジェクト１１から逐次送信される撮像画像のデータを、オブジェクト画像のデータとして逐次取得する。
オブジェクト画像加工部６２は、オブジェクト画像取得部６１により逐次取得されたオブジェクト画像のデータを加工することで、オブジェクト１１又はそれ以外の実物体若しくは仮想物体に配置された仮想視点１５−１〜１５−３が所定の移動方向に移動しながら所定の眺望方向を眺めた様子を表わす画像のデータを、視点変換画像のデータとして生成する。
出力制御部７１は、オブジェクト画像加工部６２により生成された視点変換画像のデータを出力する制御を実行する。
この場合、画像処理装置１２は、姿勢変化しながら移動しているオブジェクト１１が撮影した画像のうち、所定の移動方向に移動しながら所定の眺望方向を眺めた様子を表わす画像のデータのみを得ることができる。そして得られた画像データを出力することができる。
即ち、上下左右３６０度姿勢変化しながら移動しながら撮影されるオブジェクト１１により撮像される画像のうち、所望する方向の画像のみを確認することができる。従って、ボールや選手等をオブジェクトとして選択するだけで、実際のスポーツ競技やプレー中の情景を、ボール等の用具や選手等の視点で映像として見ることができる。また、ボール等の用具や選手等の運動や速度、高さ等で、新しい眺望世界や、迫力あるダイナミックな映像を再現することができる。このため、鑑賞者が所望する視点で撮影されたとの等価な画像を容易に得ることができる。また、オブジェクト１１自体は高度な画像処理を行う必要がないため、オブジェクト１１に対する軽量化及びコストの低減を図ることもできる。
【００８４】
また、画像処理装置１２における仮想視点はオブジェクト１１に配置されたものであり、仮想視点の所定の移動方向はオブジェクトの移動方向に基づく方向であってもよい。この場合、鑑賞者はオブジェクト１１の視点で撮影されたとの等価な画像を得ることができる。
【００８５】
また、画像処理装置１２のオブジェクト画像加工部６２は、オブジェクト画像のデータを、姿勢変化を補正しつつ加工することで、視点変換画像のデータを生成してもよい。
この場合、画像処理装置１２は、姿勢変化しながら移動しているオブジェクト１１が撮像した画像のうち、オブジェクトの移動方向に基づく視点とした視点変換画像のデータを得ることができる。従って、オブジェクト１１がブレたり、別の方向に揺れたりしても、それに追随してブレたり、揺れたりすることなくオブジェクト１１の仮想視点から眺めた様子を表わす画像のデータを得ることができる。
【００８６】
また、画像処理装置１２におけるオブジェクト１１は、さらに回転を伴う移動をし得るものである。
オブジェクト画像加工部６２は、オブジェクト画像のデータのうち、光軸方向がオブジェクト１１の移動方向と略一致しているときに撮像部１０１により撮像された撮像画像のデータを抽出し、抽出した撮像画像のデータを加工することで、視点変換画像のデータを生成してもよい。
この場合、画像処理装置１２は、オブジェクト１１の移動方向のみの撮像画像のデータに基づいて視点変更画像のデータを生成する。従って、オブジェクト１１が回転したり、揺れたりすることにより、撮像部１０１の光軸方向がオブジェクトの進行方向とは異なる方向に向いた画像を除外し、オブジェクト１１の移動方向から眺めた様子を表わす画像のデータを得ることができる。
【００８７】
また、オブジェクト画像加工部６２は、抽出した複数の撮像画像のデータの時間方向の合間に、補間又は創造した画像のデータを挿入する加工をさらにすることで、視点変換画像のデータを生成することができる。
この場合、視点変換画像は、よりスムーズに表現される動画像となるので、迫力あるダイナミックな映像をよりリアルに再現することができる。
【００８８】
また、画像処理装置１２のオブジェクト画像加工部６２は、姿勢変化算出部９１と、画像変換部９３と、を備える。
姿勢変化算出部９１は、オブジェクト画像取得部６１により逐次取得されたオブジェクト画像のデータの履歴に基づいて、オブジェクト画像の各々が撮像部１０１に撮影された際のオブジェクトの姿勢の変化を算出する。
画像変換部９３は、姿勢変化算出部の算出結果に基づいて、オブジェクト画像のデータを、視点変換画像のデータに変換する。
この場合、オブジェクト１１として球状のボール等が選択された場合であっても、取得されたオブジェクト画像のデータを用いた画像処理のみで、オブジェクト１１からの視点の画像が、姿勢変化に合わせて目まぐるしく変化することなく安定して出力される。
【００８９】
また、画像処理装置１２のオブジェクト画像加工部６２は、移動方向算出部９２をさらに備える。
移動方向算出部９２は、オブジェクト画像取得部６１により逐次取得されたオブジェクト画像のデータの履歴に基づいて、オブジェクトの移動方向を算出する。
画像変換部９３は、姿勢変化算出部９１の算出結果に加えてさらに移動方向算出部９２の算出結果基づいて、オブジェクト画像のデータを、視点変換画像のデータに変換する。この場合、鑑賞者が所望する移動方向から眺めた様子を表わす画像のデータを得ることができる。
【００９０】
また、画像処理装置１２は、オブジェクト変更部７３をさらに備えてもよい。
オブジェクトは複数であり、オブジェクト変更部７３は、複数のオブジェクトの中で、オブジェクト画像取得部６１によるオブジェクト画像のデータの取得の対象となるオブジェクトを変更する。
この場合、鑑賞者は必要に応じて、複数のオブジェクト１１のうち所望のオブジェクト１１の視点の映像を得ることができる。
【００９１】
また、画像処理装置１２は、視点変更部７２をさらに備えてもよい。
仮想視点の配置候補となるオブジェクト又は物体は複数であり、視点変更部７２は、複数の配置候補の中で、仮想視点の配置先を変更する。
この場合、鑑賞者は必要に応じて、複数の視点のうち所望の視点の映像を得ることができる。
【００９２】
また、画像処理装置１２における仮想視点１５−１〜１５−３は、移動速度が０の物体に配置されたものであってもよい。
この場合、鑑賞者は必要に応じて、所望の視点において安定した映像を得ることができる。
【００９３】
また、画像処理装置１２における仮想視点１５−１〜１５−３は、移動速度が０の相互に離間した複数の物体に配置されてもよい。
オブジェクト画像加工部６２は、仮想視点１５−１〜１５−３が複数の物体の各々に移動した場合の視点変換画像のデータを生成してもよい。
この場合、所望の視点において新しい眺望世界や、迫力あるダイナミックな映像を再現することができる。
【００９４】
また、画像処理装置１２における仮想視点は、オブジェクト１１以外の移動物体に配置されてもよい。ここでいう移動物体は、仮想的な移動物体を含む。この場合、仮想視点１５−１〜１５−３は、上述の如く、仮想的な移動物体に配置された１つの仮想視点が、その移動中に３つの位置をそれぞれ通過した際の様子を示すものと把握することもできる。
この場合、さらに選択の自由度の高い様々な視点において、新しい眺望世界や、迫力あるダイナミックな映像をより適切に再現することができる。
【００９５】
また、画像処理装置１２は、画像を表示する表示部３８をさらに備えてもよい。
出力制御部７１は、視点変換画像を表示部３８に表示する制御を実行する。
この場合、鑑賞者であるテレビ局の編集局員等は、表示部３８を通じて、容易にオブジェクト１１の視点の画像を確認することができる。
【００９６】
また、画像処理装置１２は、表示機能を備えた外部端末１４と通信する通信部４０をさらに備えてもよい。
出力制御部７１は、視点変換画像のデータを、通信部４０から外部端末１４に送信する制御を実行する。
これにより、鑑賞者は、インターネット回線等を通じて接続された外部端末１４を操作するだけで、あたかも自分自身が競技場内を移動するボール等のオブジェクト１１になったかのような視点の画像を見ることができる。
【００９７】
また、画像処理装置１２は、通信部４０を介して外部端末１４からの制御信号を受信する制御信号受信部７４をさらに備えてもよい。
オブジェクト画像加工部６２は、制御信号受信部７４に受信された制御信号に応じた画像変換を行うことで、視点変換画像のデータを生成する。
これにより、鑑賞者は、インターネット回線等を通じて接続された外部端末１４を操作するだけで、鑑賞者自身の好みの画像を選択することができる。
【００９８】
また、画像処理装置１２におけるオブジェクト１１から送信される撮像画像のデータは動画像データであってもよい。
オブジェクト画像取得部６１は、オブジェクトから送信される動画像データを、オブジェクト画像のデータとして取得する。
オブジェクト画像加工部６２は、オブジェクト画像取得部６１により取得された動画像データを加工することで、視点変換画像のデータを動画像データとして生成する。
出力制御部７１は、オブジェクト画像加工部６２により動画像データとして生成された視点変換画像のデータを出力する制御を実行する。
この場合、オブジェクト１１の視点での迫力のあるダイナミックな動画像データを得ることができる。
【００９９】
以上、本発明の第１実施形態に係る画像処理装置１２について説明した。
次に、本発明の第２実施形態に係る画像処理装置１２について説明する。
【０１００】
［第２実施形態］
本発明の第２実施形態に係る画像処理装置１２は、第１実施形態に係る画像処理装置１２と基本的に同様のハードウェア構成及び機能的構成を取ることができる。
従って、図５は、第２実施形態に係る画像処理装置１２のハードウェアの構成を示すブロック図でもある。
【０１０１】
さらに、第２実施形態に係る画像処理装置１２が実行する画像表示処理は、第１実施形態に係る画像表示処理と基本的に同様の流れとなる。従って、図７は、第２実施形態に係る画像表示処理の流れを説明するフローチャートでもある。
さらに、第２実施形態に係る画像処理装置１２が実行する画像変換処理は、第１実施形態に係る画像変換処理と基本的に同様の流れとなる。従って、図８は、第２実施形態に係る画像変換処理の流れを説明するフローチャートでもある。
ただし、第２実施形態では、画像変換処理のうちステップＳ３１乃至ステップＳ３４の処理については、第１実施形態で採用された図８のフローチャートではなく、図９のフローチャートが採用される。
図９は、図６の機能的構成を備える図５の画像処理装置１２が実行する、第２実施形態に係る画像変換処理の流れを説明するフローチャートである。
【０１０２】
上述した第１実施形態における図８の画像変換処理では、
オブジェクト画像のデータの履歴からオブジェクト１１の姿勢変化や移動方向を算出しているのに対して、第２実施形態における図９の画像変換処理では、オブジェクトデータに付加された３軸加速度データに基づいてオブジェクト１１の姿勢変化や移動方向を算出している点が差異点である。詳細には、第２実施形態では、第１実施形態に係るステップＳ３１乃至ステップＳ３４の処理に代えて、ステップＳ５１乃至ステップＳ５４の処理が実行される点が差異点である。
そこで、以下、このような差異点について主に説明し、一致点の説明は適宜省略する。
【０１０３】
ステップＳ５１において、通信部４０は、選択オブジェクトからのオブジェクトデータを、ネットワークＮを介して逐次受信する。
ステップＳ５２において、通信部４０は、オブジェクトデータを、オブジェクトデータに含まれるオブジェクト画像が撮像された時刻（近似的に現時刻でもよい）と対応付けてオブジェクトデータ記憶部８１に記憶させる。
【０１０４】
ステップＳ５３において、姿勢変化算出部９１は、オブジェクトデータ記憶部８１に記憶されているオブジェクトデータに付加された３軸加速度データから、選択オブジェクト１１の姿勢変化を算出する。
【０１０５】
ステップＳ５４において、移動方向算出部９２は、オブジェクトデータ記憶部８１に記憶されているオブジェクトデータに付加された３軸加速度データから、選択オブジェクト１１の移動方向を算出する。
【０１０６】
ステップＳ５５において、画像変換部９３は、ステップＳ５３において姿勢変化算出部９１が算出した姿勢方向と、ステップＳ５４において移動方向算出部９２が算出した移動方向とに応じた画像変換を行うことで、移動方向に移動する選択オブジェクト１１を仮想視点として、当該仮想視点が所定方向に眺めた様子を示す始点変換画像のデータを生成する。
この処理が終了すると、画像変換処理は終了となり、即ち、図７のステップＳ１１の処理が終了し、処理はステップＳ１２に進む。
【０１０７】
以上説明したように、本実施形態の画像処理装置１２におけるオブジェクト１１は加速度センサをさらに搭載し、加速度センサにより取得された情報を撮像画像のデータに付加して送信してもよい。
オブジェクト画像取得部６１は、撮像画像のデータに付加された情報をさらに取得する。
オブジェクト画像加工部６２は、視点変換画像の生成の際に、オブジェクト画像取得部６１により取得された情報を利用する。
この場合、画像認識等の技術を用いずに視点変更画像のデータを得ることができるため、画像処理に要する負担の軽減を図ることができる。また、各種センサにより得られる情報に基づいて視点変更画像を生成することができるため、より正確な視点を認識して視点変更画像を生成することができる。
【０１０８】
なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
【０１０９】
上述の実施形態では、センサ部１０２は、３軸加速度センサにより形成されているがこれに限られるものではない。例えば、センサ部１０２は、重力センサにより構成することでオブジェクト１１の傾きを検出してもよい。撮像部１０１から出力されたオブジェクト画像のデータに対して、重力センサにより検出された傾斜データを付加することによって、オブジェクトデータを生成することができる。
上述の実施形態では、本発明が適用される上述の実施形態では、ボールをオブジェクトとして選択する例について説明したがこれに限定されない。例えば、スポーツ競技用のバット、ラケット、クラブ、シューズ等の弾性体や半透明体の球体やスポーツ用具状の外装の中に撮像部を組み込むか、着脱式に装着するか、又は貼付して使用することができる。
【０１１０】
撮像部１０１は、連続撮影した画像の画像データを逐次送信部１０４を通じて画像処理装置１２へ送信しているがこれに限られるものではない。例えば、大容量のメモリ（図示せず）に記憶した後、所定の時間毎、容量毎、又は通信速度に応じて分割して、画像処理装置１２へ送信することができる。
【０１１１】
また、上述の実施形態では、本発明が適用される画像処理装置１２が使用される画像処理システム１０は、スポーツが行われる競技場で用いられる例について説明したがこれに限定されない。例えば、舞台中継等に適用可能である。
【０１１２】
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図６の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が画像処理装置１２に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図６の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
【０１１３】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワーク２１や記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
【０１１４】
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図５のリムーバブルメディア５１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア５１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図５のＲＯＭ３２や、図５の記憶部３９に含まれるハードディスク等で構成される。
【０１１５】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものとする。
【０１１６】
以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【０１１７】
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
光軸方向を視点とする撮像画像を撮像する撮像部及び前記撮像画像のデータを送信する送信部を備えたオブジェクトであって、姿勢変化をしながら移動し得る前記オブジェクトから逐次送信される前記撮像画像のデータを、オブジェクト画像のデータとして逐次取得するオブジェクト画像取得手段と、
前記オブジェクト画像取得手段により逐次取得された前記オブジェクト画像のデータを加工することで、前記オブジェクト又はそれ以外の物体（実物体若しくは仮想物体）に配置された仮想視点が所定の移動方向に移動しながら所定の眺望方向を眺めた様子を表わす画像のデータを、視点変換画像のデータとして生成するオブジェクト画像加工手段と、
前記オブジェクト画像加工手段により生成された前記視点変換画像のデータを出力する制御を実行する出力制御手段と、
を備えることを特徴とする画像処理装置。
［付記２］
前記仮想視点は前記オブジェクトに配置されたものであり、前記仮想視点の前記所定の移動方向は前記オブジェクトの移動方向に基づく方向である、
ことを特徴とする付記１に記載の画像処理装置。
［付記３］
前記オブジェクト画像加工手段は、前記オブジェクト画像のデータを、前記姿勢変化を補正しつつ加工することで、前記視点変換画像のデータを生成する、
ことを特徴とする付記２に記載の画像処理装置。
［付記４］
前記オブジェクトはさらに回転を伴う移動をし得るものであり、
前記オブジェクト画像加工手段は、前記オブジェクト画像のデータのうち、光軸方向が前記オブジェクトの移動方向と略一致しているときに前記撮像部により撮像された撮像画像のデータを抽出し、抽出した前記撮像画像のデータを加工することで、前記視点変換画像のデータを生成する、
ことを特徴とする付記２又は３に記載の画像処理装置。
［付記５］
前記オブジェクト画像加工手段は、抽出した複数の前記撮像画像のデータの時間方向の合間に、補間又は創造した画像のデータを挿入する加工をさらにすることで、前記視点変換画像のデータを生成する、
ことを特徴とする付記４に記載の画像処理装置。
［付記６］
前記オブジェクト画像加工手段は、
前記オブジェクト画像取得手段により逐次取得された前記オブジェクト画像のデータの履歴に基づいて、前記オブジェクト画像の各々が前記撮像部に撮影された際の前記オブジェクトの姿勢の変化を算出する姿勢変化算出手段と、
前記姿勢変化算出手段の算出結果に基づいて、前記オブジェクト画像のデータを、前記視点変換画像のデータに変換する画像変換手段と、
を備えることを特徴とする付記１乃至５の何れか１つに記載の画像処理装置。
［付記７］
前記オブジェクト画像加工手段は、前記オブジェクト画像取得手段により逐次取得された前記オブジェクト画像のデータの履歴に基づいて、前記オブジェクトの移動方向を算出する移動方向算出手段をさらに備え、
前記画像変換手段は、前記姿勢変化算出手段の算出結果に加えてさらに前記移動方向算出手段の算出結果基づいて、前記オブジェクト画像のデータを、前記視点変換画像のデータに変換する
ことを特徴とする付記６に記載の画像処理装置。
［付記８］
前記オブジェクトは加速度センサ又は重力センサをさらに搭載し、
前記加速度センサ又は前記重力センサにより取得された情報を前記撮像画像のデータに付加して送信し、
前記オブジェクト画像取得手段は、前記撮像画像のデータに付加された前記情報をさらに取得し、
前記オブジェクト画像加工手段は、前記視点変換画像の生成の際に、前記オブジェクト画像取得手段により取得された前記情報を利用する、
ことを特徴とする付記１乃至７のうち何れか１つに記載の画像処理装置。
［付記９］
前記オブジェクトは複数であり、
複数の前記オブジェクトの中で、前記オブジェクト画像取得手段による前記オブジェクト画像のデータの取得の対象となるオブジェクトを変更するオブジェクト変更手段をさらに備える、
ことを特徴とする付記１乃至８のうち何れか１つに記載の画像処理装置。
［付記１０］
前記仮想視点の配置候補となる前記オブジェクト又は前記物体は複数であり、
前記複数の配置候補の中で、前記仮想視点の配置先を変更する視点変更手段をさらに備える、
ことを特徴とする付記１乃至９のうち何れか１つに記載の画像処理装置。
［付記１１］
前記仮想視点は、移動速度が０の前記物体に配置されたものである、
ことを特徴とする付記１に記載の画像処理装置。
［付記１２］
前記仮想視点は、移動速度が０の相互に離間した複数の物体に配置され、
前記オブジェクト画像加工手段は、前記仮想視点が前記複数の物体の各々に移動した場合の前記視点変換画像のデータを生成する、
ことを特徴とする付記１１に記載の画像処理装置。
［付記１３］
前記仮想視点は、前記物体として移動物体に配置されたものである、
ことを特徴とする付記１に記載の画像処理装置。
［付記１４］
画像を表示する表示手段をさらに備え、
前記出力制御手段は、前記視点変換画像を前記表示手段に表示する制御を実行する、
ことを特徴とする付記１乃至１３の何れか１つに記載の画像処理装置。
［付記１５］
表示機能を備えた外部端末と通信する通信手段をさらに備え、
前記出力制御手段は、前記視点変換画像のデータを、前記通信手段から前記外部端末に送信する制御を実行する、
ことを特徴とする付記１乃至１４の何れか１つに記載の画像処理装置。
［付記１６］
前記通信手段を介して前記外部端末からの制御信号を受信する制御信号受信手段をさらに備え、
前記オブジェクト画像加工手段は、前記制御信号受信手段に受信された前記制御信号に応じた画像変換を行うことで、前記視点変換画像のデータを生成する、
ことを特徴とする付記１５に記載の画像処理装置。
［付記１７］
前記オブジェクトから送信される撮像画像のデータは動画像データであって、
前記オブジェクト画像取得手段は、前記オブジェクトから送信される前記動画像データを、前記オブジェクト画像のデータとして取得し、
前記オブジェクト画像加工手段は、前記オブジェクト画像取得手段により取得された前記動画像データを加工することで、前記視点変換画像のデータを動画像データとして生成し、
前記出力制御手段は、前記オブジェクト画像加工手段により動画像データとして生成された前記視点変換画像のデータを出力する制御を実行する、
ことを特徴とする付記１乃至１６の何れか１つに記載の画像処理装置。
［付記１８］
視点変換画像のデータを出力する制御を実行する画像処理装置が実行する画像処理方法であって、
光軸方向を視点とする撮像画像を撮像する撮像部及び前記撮像画像のデータを送信する送信部を備えたオブジェクトであって、姿勢変化をしながら移動し得る前記オブジェクトから逐次送信される前記撮像画像のデータを、オブジェクト画像のデータとして逐次取得するオブジェクト画像取得ステップと、
前記オブジェクト画像取得ステップにより逐次取得された前記オブジェクト画像のデータを加工することで、前記オブジェクト又はそれ以外の物体（実物体若しくは仮想物体）に配置された仮想視点が所定の移動方向に移動しながら所定の眺望方向を眺めた様子を表わす画像のデータを、視点変換画像のデータとして生成するオブジェクト画像加工ステップと、
前記オブジェクト画像加工ステップにより生成された前記視点変換画像のデータを出力する制御を実行する出力制御ステップと、
を含む画像処理方法。
［付記１９］
視点変換画像のデータを出力する制御を実行する画像処理装置を制御するコンピュータに、
光軸方向を視点とする撮像画像を撮像する撮像部及び前記撮像画像のデータを送信する送信部を備えたオブジェクトであって、姿勢変化をしながら移動し得る前記オブジェクトから逐次送信される前記撮像画像のデータを、オブジェクト画像のデータとして逐次取得するオブジェクト画像取得機能、
前記オブジェクト画像取得機能、により逐次取得された前記オブジェクト画像のデータを加工することで、前記オブジェクト又はそれ以外の物体（実物体若しくは仮想物体）に配置された仮想視点が所定の移動方向に移動しながら所定の眺望方向を眺めた様子を表わす画像のデータを、視点変換画像のデータとして生成するオブジェクト画像加工機能、
前記オブジェクト画像加工機能、により生成された前記視点変換画像のデータを出力する制御を実行する出力制御機能、
を含む機能を実現させるプログラム。
【符号の説明】
【０１１８】
１０・・・画像処理システム、１１・・・オブジェクト、１２・・・画像処理装置、１３・・・中継装置、１４・・・外部端末、３１・・・ＣＰＵ、３２・・・ＲＯＭ、３３・・・ＲＡＭ、３４・・・画像処理部、３５・・・バス、３６・・・入出力インターフェース、３７・・・入力部、３８・・・表示部、３９・・・記憶部、４０・・・通信部、４１・・・ドライブ、５１・・・リムーバブルメディア、６１・・・オブジェクト画像取得部、６２・・・オブジェクト画像加工部、７１・・・出力制御部、７２・・・視点変更部、７３・・・オブジェクト変更部、７４・・・制御信号受信部、８１・・・オブジェクトデータ記憶部、８２・・・参照情報記憶部、１０１・・・撮像部、１０２・・・センサ部、１０３・・・オブジェクトデータ生成部、１０４・・・送信部
【技術分野】
【０００１】
本発明は、鑑賞者が所望する視点で撮影されたのと等価な画像を容易に得ることを可能にする、画像処理装置、画像処理方法及びプログラムに関する。
【背景技術】
【０００２】
従来、サッカー等のスポーツ競技における放送に用いる映像の撮影では、定点カメラや、報道席のカメラマンが保持するカメラ等が用いられている。即ち、これらのカメラによって、遠方から望遠撮影されたスポーツ競技の映像が放送等されている。
【０００３】
しかしながら、このような遠方から撮像された映像では、たとえ望遠撮影等を織り交ぜたとしても、迫力に乏しいという印象を鑑賞者に与えてしまう。
【０００４】
そこで、サッカー等の球技について、より迫力のある映像を得るために、球技用のボールの中に、カメラやセンサを内蔵する技術が提案されている（例えば、特許文献１〜特許文献３参照）。このような技術を適用することで、ボール内のセンサが衝撃や加速度を検出したら、ボール内のカメラが所定の瞬間の画像を撮影することができるので、ボール視点とした画像の再生が可能になる。ただし、ボールは回転したり振動するので、落下するボール自体の姿勢制御を行うことで画像を安定化する技術も特許文献１に記載されている。
【０００５】
なお、サッカーや格闘技等、スポーツを模擬したゲーム機器も近年開発されている（例えば、特許文献４参照）。このようなゲーム機器では、所定のシーンを模擬した３次元ＣＧ（Ｃｏｍｐｕｔｅｒ Ｇｒａｐｈｉｃｓ）を再構成して、リプレイ表示することができるようになっている。
【先行技術文献】
【特許文献】
【０００６】
【特許文献１】特開２００７−１０４２５４号公報
【特許文献２】特開２００１−０４２４２０号公報
【特許文献３】特開２００７−１０４２３４号公報
【特許文献４】特開平０７−１１６３４３号公報
【発明の概要】
【発明が解決しようとする課題】
【０００７】
しかしながら、特許文献１〜３の従来の技術を適用してボール視点の画像を得るためには、ボールは逐次姿勢変化していることから、当該ボール自身又は内蔵されたカメラの姿勢制御を逐次的確に行わなければならない。このためには、複雑な構造の大掛かりな設備が必要となり、ボール視点の画像を容易に得ることができなかった。
【０００８】
また、鑑賞者の中には、ボールだけではなく、選手等他のオブジェクトを視点とした画像を得ることを要求するものも多く存在するが、特許文献１〜３の従来の技術では当該要求に十分に応えることはできない。
【０００９】
また、特許文献４の従来の技術は、あくまでもゲームという仮想現実に適用可能な技術であり、現実のスポーツ等を撮像する技術にはそのまま適用することは困難である。
【００１０】
本発明は、このような状況に鑑みてなされたものであり、鑑賞者が所望する視点で撮影されたのと等価な画像を容易に得ることを目的とする。
【課題を解決するための手段】
【００１１】
上記目的を達成するため、本発明の一態様の画像処理装置は、
光軸方向を視点とする撮像画像を撮像する撮像部及び前記撮像画像のデータを送信する送信部を備えたオブジェクトであって、姿勢変化をしながら移動し得る前記オブジェクトから逐次送信される前記撮像画像のデータを、オブジェクト画像のデータとして逐次取得するオブジェクト画像取得手段と、
前記オブジェクト画像取得手段により逐次取得された前記オブジェクト画像のデータを加工することで、前記オブジェクト又はそれ以外の物体（実物体又は仮想物体）に配置された仮想視点が所定の移動方向に移動しながら所定の眺望方向を眺めた様子を表わす画像のデータを、視点変換画像のデータとして生成するオブジェクト画像加工手段と、
前記オブジェクト画像加工手段により生成された前記視点変換画像のデータを出力する制御を実行する出力制御手段と、
を備える。
【発明の効果】
【００１２】
本発明によれば、鑑賞者が所望する視点で撮影されたのと等価な画像を容易に得ることができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の第１実施形態に係る画像処理システムの概略的な構成を示す模式図であって、ボールのオブジェクトが視点として選択された場合の模式図である。
【図２】本発明の第１実施形態に係る画像処理システムの概略的な構成を示す模式図であって、選手のオブジェクトが視点として選択された場合の図である。
【図３】本発明の第１実施形態に係る画像処理システムの概略的な構成を示す模式図であって、競技場の周囲の仮想視点が選択された場合の図である。
【図４】図１〜図３の画像処理システムにより得られる、視点変換画像の各種具体例を示す図である。
【図５】図１〜図３の画像処理システムのうち画像処理装置のハードウェアの構成を示すブロック図である。
【図６】図５の画像処理装置の機能ブロック図である。
【図７】図６の画像処理装置が実行する画像表示処理の流れの一連を説明するフローチャートである。
【図８】図７の画像表示処理のうち、画像変換処理の詳細な流れの一連を説明するフローチャートである。
【図９】第２実施形態に係る画像変換処理の詳細な流れの一連を説明するフローチャートである。
【発明を実施するための形態】
【００１４】
［第１実施形態］
以下、本発明の第１実施形態について、図面を用いて説明する。
【００１５】
図１〜３は、本発明の第１実施形態に係る画像処理システムの概略的な構成を示す模式図である。
本実施形態に係る画像処理システム１０は、競技場で開催されるサッカーの試合を撮像する用途で設定されている。
このため、サッカーボール（以下、「ボール」と略記する）や選手等から、鑑賞者に提供される画像の視点となり得るオブジェクトがｍ個採用されるものとする。ここで、ｍは、１以上の任意の整数値であるが、本実施形態ではボール及び選手数と同一の値である「７」とする。
【００１６】
具体的には、図１は、ボールのオブジェクトが視点として選択された場合における、本実施形態に係る画像処理システムの概略構成を示している。
図１に示すように、本実施形態に係る画像処理システム１０においては、ボールであるオブジェクト１１−１及び各選手のそれぞれであるオブジェクト１１−２〜１１−７と、画像処理装置１２と、中継装置１３と、ｎ台の外部端末１４−１〜１４−ｎと、がネットワークＮを介して相互に接続されている。ネットワークＮは、ＬＡＮ（Ｌｏｃａｌ Ａｒｅａ Ｎｅｔｗｏｒｋ）やインターネット等の任意のネットワークである。
以下、外部端末１４−１〜１４−ｎを個々に区別する必要がない場合、これらをまとめて、「外部端末１４」と単に呼ぶ。また、外部端末１４と呼んでいる場合には、その構成要素の符号についても、１〜ｎを省略して説明する。
また、以下、オブジェクト１１−１〜１１−７を個々に区別する必要がない場合、これらをまとめて、「オブジェクト１１」と単に呼ぶ。また、オブジェクト１１と呼んでいる場合には、その構成要素の符号についても、１〜７を省略して説明する。
オブジェクト１１は、詳細については図６を参照して説明するが、撮像部及び送信部を備えており、回転したり振動したりしながら姿勢変化しながら移動している最中に撮影した画像のデータを画像処理装置１２に逐次送信する。
【００１７】
図１に示すように、画像処理装置１２は、各オブジェクト１１−１〜１１−７のうち、ボールのオブジェクト１１−１を、視点として選択することができる。このように視点として選択されたオブジェクトを、以下、「選択オブジェクト」と呼ぶ。
この場合、画像処理装置１２は、移動方向Ａ１に移動している選択オブジェクト１１−１から逐次送信されてくる一連の画像（動画像）のデータを加工することによって、当該選択オブジェクト１１−１を視点として、その視点がブレや回転をすることなく移動方向Ａ１に移動していくような一連の画像（動画像）のデータを生成する。即ち、この場合、画像処理装置１２は、選択オブジェクト１１−１の移動方向Ａ１に基づく画像（動画像）のデータを生成する。
【００１８】
換言すると、移動方向Ａ１に移動している選択オブジェクト１１−１から逐次送信されてくる一連の画像（動画像）のデータとは、選択オブジェクト１１−１の実際の視点から眺めた様子を表わす画像のデータである。ここで、実際の視点とは、実空間を実際に撮像する撮像部の視点をいい、具体的には図１の例では、選択オブジェクト１１−１と連動して回転する、当該選択オブジェクト１１−１の撮像部の実際の視点をいう。
これに対して、画像処理装置１２による生成後のデータとは、選択オブジェクト１１−１が実際に回転していても、ブレや回転をすることなく移動方向Ａ１に移動していく仮想視点から眺めた様子を表わす画像のデータである。ここで、仮想視点とは、撮像部以外の実物体又は仮想物体に可変可能に配置される仮想的な視点をいう。具体的には図１の例では、仮想視点は、選択オブジェクト１１−１に配置されるが、実際の視点のように固定的に配置されるのではなく、水平方向は常に一定方向を眺望するように（その結果回転することなく移動方向Ａ１に移動していくように）可変配置される仮想的な視点である。
従って、画像処理装置１２は、選択オブジェクト１１−１の実際の視点から眺めた様子を表わす画像のデータを、回転することなく移動方向Ａ１に移動していく仮想視点から眺めた様子を表わす画像のデータに変換している、と把握することもできる。
【００１９】
図２は、選手のオブジェクトが視点として選択された場合における、本実施形態に係る画像処理システムの概略構成を示している。
図１に示すボールのオブジェクト１１−１の他、各選手のオブジェクト１１−２〜１１−７の中からも、視点となる選択オブジェクトの設定が可能である。図２の例では、オブジェクト１１−３が選択オブジェクトに設定されている。
この場合、画像処理装置１２は、移動方向Ａ３に移動している選択オブジェクト１１−３から逐次送信されてくる一連の画像（動画像）のデータを加工することによって、当該選択オブジェクト１１−３を視点として、その視点がブレることなく移動方向Ａ３に移動していくような一連の画像（動画像）のデータを生成する。即ち、この場合、画像処理装置１２は、選択オブジェクト１１−３の移動方向Ａ３に基づく画像（動画像）のデータを生成する。
【００２０】
換言すると、移動方向Ａ３に移動している選択オブジェクト１１−３から逐次送信されてくる一連の画像（動画像）のデータとは、選択オブジェクト１１−３の実際の視点（図２の例では、選択オブジェクト１１−３自体が移動方向Ａ３とは別の方向に揺れれば、その別の方向にブレが生じる選択オブジェクト１１−３の撮像部の視点）から眺めた様子を表わす画像のデータである。
これに対して、画像処理装置１２による生成後のデータとは、選択オブジェクト１１−３が移動方向Ａ３とは別の方向に揺れたりしても、その別の方向にブレることなく移動方向Ａ３に移動していく仮想視点から眺めた様子を表わす画像のデータである。ここで、図２の例の仮想視点は、選択オブジェクト１１−３に配置されるが、実際の視点のように固定的に配置されるのではなく、水平方向は常に一定方向を眺望するように（その結果ブレることなく移動方向Ａ３に移動していくように）可変配置される仮想的な視点である。
従って、画像処理装置１２は、選択オブジェクト１１−３の実際の視点から眺めた様子を表わす画像のデータを、ブレることなく移動方向Ａ３に移動していく仮想視点から眺めた様子を表わす画像のデータに変換している、と把握することもできる。
【００２１】
図３は、競技場の周囲の仮想視点１５−１〜１５−３が選択された場合における、本実施形態に係る画像処理システムの概略構成を示している。
仮想視点は、図１に示すボールのオブジェクト１１−１や、図２に示す各選手のオブジェクト１１−２〜１１−７に配置するのみならず、オブジェクト１１−７以外の任意の位置（当該位置に存在する仮想物体と把握してもよい）や実物体に配置することが可能である。図３の例では、競技場の周囲の位置の仮想物体に仮想視点１５−１〜１５−３の各々が配置可能とされている。
この場合、画像処理装置１２は、各オブジェクト１１−１〜１１−７のそれぞれから逐次送信されてくる一連の画像（動画像）のデータの中から、１以上の画像のデータを選択し、選択した画像のデータを加工することによって、仮想視点１５−１〜１５−３のうちの少なくとも１つから眺めた様子を表わす一連の画像（動画像）のデータを生成する。
【００２２】
換言すると、各オブジェクト１１−１〜１１−７のそれぞれから逐次送信されてくる一連の画像（動画像）のデータの中から選択されたものとは、１以上のオブジェクト１１の各々の実際の視点から眺めた様子を表わす画像のデータである。
これに対して、仮想視点１５−１〜１５−３を結ぶ方向を移動方向と捉え、移動速度０の場合も移動の一形態と捉えるならば、画像処理装置１２による生成後のデータとは、回転やブレ等生ずることなく移動方向に所定の移動速度（移動速度０の場合も含む）で移動していく仮想視点１５−１〜１５−３の少なくとも１つから眺めた様子を表わす画像のデータである。
より具体的には、移動速度が０を超えている場合には、仮想視点１５−１〜１５−３の各々は同一の移動物体に固定配置（眺める方向（以下、「眺望方向」と呼ぶは可変可能）されていると把握される。ここでいう移動物体は、競技場に現存する実物体のみならず、仮想物体も含む。この場合、当該移動物体が移動方向に所定の移動速度で連続的に移動していくのに伴い、１つの仮想視点が連続的に移動していくことになる。この１つの仮想視点は移動中に３か所の位置を通過することになるが、３か所のそれぞれの位置を通過した時点の様子が、仮想視点１５−１〜１５−３の各々として図３に描画されていると把握することができる。
これに対して、移動速度が０の場合には、仮想視点１５−１〜１５−３は、相互に離間した３つの静止物体（３つの定点）に固定配置（眺望方向は可変可能）されると把握される。即ち、仮想視点１５−１〜１５−３は定点カメラと同様の振る舞いとなり、複数の定点カメラが適宜切り換えられて放送されるのと同様に、固定の仮想視点１５−１〜１５−３の各々が適宜変更されると把握することができる。従って、画像処理装置１２は、１以上のオブジェクト１１の各々の実際の視点から眺めた様子を表わす画像のデータを、回転やブレ等生ずることなく移動方向に所定の移動速度（移動速度０の場合も含む）移動していく物体に配置された仮想視点（仮想視点１５−１〜１５−３を含む）から眺めた様子を表わす画像のデータに変換している、と把握することもできる。この場合、画像処理装置１２は、オブジェクト１１とは別の物体に配置された仮想視点が移動した場合の一連の画像（動画像）のデータを生成する。
【００２３】
以上説明したように、画像処理装置１２は、オブジェクト１１の実際の視点から眺めた様子を表わす画像のデータを、所定の移動方向に移動していく仮想視点から所定の方向（以下、「眺望方向」と適宜呼ぶ）を眺めた様子を表わす画像のデータに変換することができる。そこで、以下、所定の移動方向に移動していく仮想視点から眺望方向を眺めた様子を表わす画像のデータを、「視点変換画像のデータ」と呼ぶ。
【００２４】
図４は、このようにして画像処理装置１２によって生成される視点変換画像の各種具体例を示している。
【００２５】
図４（１）は、ボールのオブジェクト１１−１の実際の視点（回転をしながら移動方向Ａ１に移動する視点）から眺めた様子を表わす一連の画像（動画像）から変換されたものであり、回転を伴わずに移動方向Ａ１に移動していく仮想視点から眺めた様子を表わす視点変換画像である。
【００２６】
なお、図４（１）の視点変換画像の生成手法は、特に限定されないが、例えば、次のような手法を採用することができる。
即ち、ボールのオブジェクト１１−１は、上述の如く、回転をしながら移動方向Ａ１に移動している。例えば、水平方向を軸にして回転しているものとする。
この場合、オブジェクト１１−１に内蔵されているカメラの光軸方向も回転していく。従って、当該カメラからは、図示はしないが、
（ａ）光軸が移動方向Ａ１と一致した際の撮像画像（ゴールＧ１を被写体として含む撮像画像）、
（ｂ）光軸が移動方向Ａ１よりも上方向に回転した際の撮像画像（空を被写体として含む撮像画像）、
（ｃ）光軸が移動方向Ａ１と反対方向に回転した際の撮像画像（反対側のゴールＧ２を被写体として含む撮像画像）、
（ｄ）光軸が移動方向Ａ１よりも下方向に回転した際の撮像画像（地面を被写体として含む撮像画像）といった各データを１単位として、
この１単位のデータ（ただし、移動方向Ａ１に移動しながらゴールＧ１に近付いていくデータ）が繰り返し出力されていくことになる。
そこで、画像処理装置１２は、このような１単位のデータ毎に、（１）光軸が移動方向Ａ１と一致した際の撮像画像（ゴールＧ１を被写体として含む撮像画像）のデータのみを抽出していく。
ボールの回転速度が速ければ、このようにして抽出された各撮像画像のデータの集合体は、各撮像画像間の時間間隔は短くスムーズな動画像のデータになるので、回転を伴わずに移動方向Ａ１に移動していく仮想視点から眺めた様子を表わす視点変換画像（動画像）のデータとしてそのまま採用してもよい。
ただし、ボールの回転速度が遅ければ、このようにして抽出された各撮像画像のデータの集合体は、各撮像画像間の時間間隔は長くスムーズな動画像のデータとはならないため、回転を伴わずに移動方向Ａ１に移動していく仮想視点から眺めた様子を表わす視点変換画像（動画像）のデータとしてそのまま採用することは不適である。
そこで、このような場合には、画像処理装置１２は、各撮像画像のデータの時間方向の合間に、補間或いは創造した新たな画像のデータを挿入すればよい。時間方向への新たな画像の補間或いは創造の手法は、公知の任意の手法を採用することができる。即ち、第１の画像と第２の画像との間に時間方向に補完される画像は、特に限定されず、公知の任意の手法により得られる任意の画像であってもよいし、第１の画像又は第２の画像そのものであってもよい。また、時間方向への新たな画像の創造の公知の手法としては、例えば特開２００４−２６６３８１号公報等に開示されている。
【００２７】
また、本実施形態では、オブジェクト１１−１に内蔵されているカメラの撮像画像のデータのうち、（ａ）光軸が移動方向Ａ１と一致した際の撮像画像（ゴールＧ１を被写体として含む撮像画像）のデータのみが抽出されたが、抽出対象は特にこれに限定されない。例えば、光軸が移動方向Ａ１よりも上又は下方向に若干回転した際の撮像画像のデータであっても、補正をすることで、光軸が移動方向Ａ１と一致した際の撮像画像と等価なデータになるのであれば、抽出対象に加えてもよい。
【００２８】
さらに、ボールのオブジェクト１１−１が、移動方向Ａ１及び回転方向とは別方向に揺れているような場合には、画像処理装置１２は、公知の「手ぶれ補正」を採用して、当該揺れを除去するようにすればよい。
「手ぶれ補正」とは、撮像画像内の手ぶれの領域を画像処理により補正する手法をいう。
公知の「手ぶれ補正」として、動画像のうちの何枚かの連続するフレーム群や、連写により連続して得られた何枚かの静止画像群を処理対象にして、処理対象の各画素のデータをそれぞれ加算平均することで、処理対象を合成する手法、即ちいわゆるマルチプレーン加算方式が用いられている。
なお、以下、マルチプレーン加算方式により処理対象（フレーム群や静止画像群）が合成された結果得られる画像を、「合成画像」と呼ぶ。
ここで、マルチプレーン加算方式において、フレーム群や静止画像群の全画素（全領域）が加算平均の対象になると、その結果得られる合成画像においては、手ぶれの領域は有効に補正されているが、動被写体の領域では、単純に合成されたことに起因してボケが生じてしまう。
そこで、このような動被写体のボケを低減すべく、動被写体以外の領域のみを加算平均する一方、動被写体の領域については加算平均しない手法が、特開２００９−２９０８２７号公報に開示されている。
画像処理装置１２は、このように特開２００９−２９０８２７号公報に開示された公知の「手ぶれ補正」を採用することで、ボールのオブジェクト１１−１の揺れを除去した視点変換画像のデータを生成することができる。
【００２９】
ここで、視点変換画像における仮想視点の眺望方向は、当該仮想視点の移動方向と一致していてもよいし、一致していなくてもよい。
即ち、図４（１）は、仮想視点の眺望方向が移動方向Ａ１と一致している場合の視点変換画像を示している。
一方、図４（２）は、ボールのオブジェクト１１−１の実際の視点から眺めた様子を表わす一連の画像（動画像）から変換されたものであり、回転を伴わずに移動方向Ａ１に移動していく仮想視点から眺めた様子を示す視点変換画像を示している点は図４（１）と同様であるが、仮想視点の眺望方向が移動方向Ａ１の左方９０度となっている点が図４（１）と異なる。
なお、図４（２）の視点変換画像の生成手法は、特に限定されず、例えば、ボールのオブジェクト１１−１に内蔵されているカメラのレンズの光軸方向が自在に変更可能な場合には、当該光軸方向をオブジェクト１１−１の移動方向Ａ１の左方９０度に変更した上で、図４（１）の視点変換画像の生成手法と同様の手法を採用すればよい。一方、ボールのオブジェクト１１−１に内蔵されているカメラのレンズの光軸方向が固定の場合には、当該オブジェクト１１−１に内蔵されているカメラの撮像画像のデータに加えて、各選手のオブジェクト１１−２〜１１−７のそれぞれに内蔵されているカメラの各撮像画像のデータを適宜用いて、図４（２）の視点変換画像を生成する手法を採用すればよい。
【００３０】
図４（３）は、選手のオブジェクト１１−３の実際の視点（揺れながら移動方向Ａ３に移動する視点）から眺めた様子を示す一連の画像（動画像）から変換されたものであり、ブレを伴わずに移動方向Ａ３に移動していく仮想視点から、移動方向Ａ３と同一方向を眺望方向として眺めた様子を示す視点変換画像を示している。
なお、図４（３）の視点変換画像の生成手法は、特に限定されず、例えば、図４（１）の生成手法（特に手ぶれ補正）と同様な手法を採用すればよい。
図４（４）は、選手のオブジェクト１１−３の実際の視点から眺めた様子を示す一連の画像（動画像）から変換されたものであり、ブレを伴わずに移動方向Ａ３に移動していく仮想視点から、移動方向Ａ３の左方９０度の方向を眺望方向として眺めた様子を示す視点変換画像を示している。
なお、図４（４）の視点変換画像の生成手法は、特に限定されず、例えば、図４（２）の生成手法と同様な手法を採用すればよい。
【００３１】
図４（５）は、オブジェクト１１−１〜１１−７の各々の実際の視点から眺めた様子を示す一連の画像（動画像）から変換されたものであり、回転やブレを伴わずに移動方向に移動速度０で移動していく仮想視点１５−１（即ち固定された仮想視点１５−１）から、それが仮想配置された競技場Ｆの手前左側コーナーから右斜め４５度の方向を眺望方向として眺めた様子を示す視点変換画像を示している。
図４（６）は、オブジェクト１１−１〜１１−７の各々の実際の視点から眺めた様子を示す一連の画像（動画像）から変換されたものであり、回転やブレを伴わずに移動方向に移動速度０で移動していく仮想視点１５−２（即ち固定された仮想視点１５−２）から、それが仮想配置された競技場Ｆの手前センターラインから正面方向を眺望方向として眺めた様子を示す視点変換画像を示している。
図４（７）は、オブジェクト１１−１〜１１−７の各々の実際の視点から眺めた様子を示す一連の画像（動画像）から変換されたものであり、回転やブレを伴わずに移動方向に移動速度０で移動していく仮想視点１５−３（即ち固定された仮想視点１５−３）から、それが仮想配置された競技場Ｆの手前右側コーナーから左斜め４５度の方向を眺望方向として眺めた様子を示す視点変換画像を示している。
【００３２】
なお、上述の如く、仮想視点１５−１〜１５−３は、オブジェクト１１以外の移動物体（仮想物体含む）に配置された１つの仮想視点が、その移動中に３つの位置をそれぞれ通過した際の様子を示すものと把握することもできる。この場合、図４（５）、図４（６）、及び図４（７）を含む複数の視点変換画像が連続的に、即ち一連の画像（動画像）として順次表示されることになる。
【００３３】
図１に戻り、中継装置１３は、ネットワークＮを介して接続される画像処理装置１２と、外部端末１４との間で授受される各種情報、例えば視点変換画像のデータを中継する。
【００３４】
外部端末１４は、例えばスマートフォン等で構成されおり、例えば画像処理装置１２から中継装置１３を経由して送信されてきた視点変換画像のデータを受信すると、当該視点変換画像をディスプレイ等に表示する。
ここで、ネットワークＮがインターネットであるならば、外部端末１４は、視点変換画像のデータの取得要求等の指示を、例えばＨＴＴＰ（Ｈｙｐｅｒｔｅｘｔ Ｔｒａｎｓｆｅｒ Ｐｒｏｔｏｃｏｌ）によるＵＲＬ（Ｕｎｉｆｏｒｍ Ｒｅｓｏｕｒｃｅ Ｌｏｃａｔｏｒ）要求により行うことができる。
さらに、外部端末１４は、各種制御信号を中継装置１３を介して画像処理装置１２に送信することで、選択オブジェクトの変更指示等の遠隔制御を実行できる。
【００３５】
次に、このような本実施形態の画像処理システム１０のうち、主要構成要素たる画像処理装置１２の構成について説明する。
［画像処理装置１２］
図５は、本実施形態に係る画像処理装置１２のハードウェアの構成を示すブロック図である。
【００３６】
画像処理装置１２は、ＣＰＵ（Ｃｅｎｔｒａｌ Ｐｒｏｃｅｓｓｉｎｇ Ｕｎｉｔ）３１と、ＲＯＭ（Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ）３２と、ＲＡＭ（Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）３３と、画像処理部３４と、バス３５と、入出力インターフェース３６と、入力部３７と、表示部３８と、記憶部３９と、通信部４０と、ドライブ４１と、を備えている。
【００３７】
ＣＰＵ３１は、ＲＯＭ３２に記録されているプログラム、又は、記憶部３９からＲＡＭ３３にロードされたプログラムに従って各種の処理を実行する。
【００３８】
ＲＡＭ３３には、ＣＰＵ３１が各種の処理を実行する上において必要なデータ等も適宜記憶される。
【００３９】
画像処理部３４は、ＤＳＰ（Ｄｉｇｉｔａｌ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｏｒ）や、ＶＲＡＭ（Ｖｉｄｅｏ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等から構成されており、ＣＰＵ３１と協働して、画像のデータに対して各種画像処理を施す。
【００４０】
ＣＰＵ３１、ＲＯＭ３２、ＲＡＭ３３及び画像処理部３４は、バス３５を介して相互に接続されている。このバス３５にはまた、入出力インターフェース３６も接続されている。入出力インターフェース３６には、入力部３７、表示部３８、記憶部３９、通信部４０及びドライブ４１が接続されている。
【００４１】
入力部３７は、キーボードやマウス等で構成され、ユーザの指示操作に応じて各種情報を入力する。
表示部３８は、ディスプレイにより構成され、各種画像、例えば上述の視点変換画像を表示する。
記憶部３９は、ハードディスク或いはＤＲＡＭ（Ｄｙｎａｍｉｃ Ｒａｎｄｏｍ Ａｃｃｅｓｓ Ｍｅｍｏｒｙ）等で構成され、各種画像、例えば上述の視点変換画像のデータを記憶する。
通信部４０は、インターネットを含むネットワークＮを介して他の装置、例えば画像処理システム１０内のオブジェクト１１（図１参照）や外部端末１４（図１参照）との間で行う通信を制御する。
【００４２】
ドライブ４１には、磁気ディスク、光ディスク、光磁気ディスク、或いは半導体メモリ等よりなる、リムーバブルメディア５１が適宜装着される。ドライブ４１によってリムーバブルメディア５１から読み出されたプログラムは、必要に応じて記憶部３９にインストールされる。また、リムーバブルメディア５１は、記憶部３９に記憶されている画像のデータ等の各種データも、記憶部３９と同様に記憶することができる。
【００４３】
図６は、このような各構成要素を含む画像処理装置１２の機能的構成のうち、画像表示処理を実行するための機能的構成を示す機能ブロック図である。
本明細書における画像表示処理とは、次のような一連の処理をいう。即ち、画像処理装置１２は、選択オブジェクトから送信された画像のデータに基づいて、所定の移動方向に移動（移動速度０による移動、即ち静止も含む）を行う仮想視点から眺めた様子を示す視点変換画像のデータを生成し、当該視点変換画像を表示部３８に表示したり、当該視点変換画像のデータを外部端末１４に送信する制御処理を実行する。
【００４４】
ここで、画像処理装置１２の機能的構成の理解を容易なものとすべく、その詳細な説明の前に、オブジェクト１１の構成について説明する。
図６に示すように、オブジェクト１１は、撮像部１０１と、センサ部１０２と、オブジェクトデータ生成部１０３と、送信部１０４と、を備える。
【００４５】
撮像部１０１は、図示はしないが、光学レンズ部と、イメージセンサと、を備えている。
【００４６】
光学レンズ部は、被写体を撮影するために、光を集光するレンズ、例えばフォーカスレンズやズームレンズ等で構成される。
フォーカスレンズは、イメージセンサの受光面に被写体像を結像させるレンズである。ズームレンズは、焦点距離を一定の範囲で自在に変化させるレンズである。
光学レンズ部にはまた、必要に応じて、焦点、露出、ホワイトバランス等の設定パラメータを調整する周辺回路が設けられる。
【００４７】
イメージセンサは、光電変換素子や、ＡＦＥ（Ａｎａｌｏｇ Ｆｒｏｎｔ Ｅｎｄ）等から構成される。
光電変換素子は、例えばＣＭＯＳ（Ｃｏｍｐｌｅｍｅｎｔａｒｙ Ｍｅｔａｌ Ｏｘｉｄｅ Ｓｅｍｉｃｏｎｄｕｃｔｏｒ）型の光電変換素子等から構成される。光電変換素子には、光学レンズ部から被写体像が入射される。そこで、光電変換素子は、被写体像を光電変換（撮像）して画像信号を一定時間蓄積し、蓄積した画像信号をアナログ信号としてＡＦＥに順次供給する。
ＡＦＥは、このアナログの画像信号に対して、Ａ／Ｄ（Ａｎａｌｏｇ／Ｄｉｇｉｔａｌ）変換処理等の各種信号処理を実行する。各種信号処理によって、ディジタル信号が生成され、撮像部１０１の出力信号として出力される。
このような撮像部１０１の出力信号を、以下、「オブジェクト画像のデータ」と呼ぶ。オブジェクト画像のデータは、オブジェクトデータ生成部１０３に適宜供給される。即ち、撮像部１０１は、周囲の空間を連続撮影し、その結果得られる連写画像や動画像のデータを、バッファ（図示せず）に一次記憶しながら順次圧縮符号化して、送信部１０４を介して画像処理装置１２に送信する。
【００４８】
なお、本実施形態においては、光学レンズ部は１つ形成されているがこれに限られるものではない。例えば、光学レンズ部を複数個備えていてもよい。
また、光学レンズ部の光軸方向は、任意の方向に変更可能であってもよいし、固定であってもよい。
【００４９】
センサ部１０２は、ピエゾ抵抗型もしくは静電容量型の検出機構を備える３軸加速度センサにより構成され、当該検出機構を用いて、加速度の３軸（Ｘ，Ｙ，Ｚ）成分を検出し、その検出結果を示すデータを出力する。なお、センサ部１０２の検出結果を示すデータを、以下、「３軸加速度データ」と呼ぶ。３軸加速度データは、オブジェクトデータ生成部１０３に適宜供給される。
ここで、３軸加速度データのうち、Ｘ成分はオブジェクト１１の垂直方向の振動周期に、Ｙ成分はオブジェクト１１の水平方向の振動周期に、Ｚ成分はオブジェクト１１の進行方向の振動周期に、それぞれ対応する。
【００５０】
また、センサ部１０２は、任意の姿勢（傾斜角度）状態においても、傾斜角度に応じて補正した３軸加速度データを出力することができる。従って、センサ部１０２は、傾斜角度に応じて補正された３軸加速度データに対応して、ジャイロセンサを用いた傾斜センサ（図示せず）等から出力するデータを補正するようにする。これによって、オブジェクト１１に遠心力等の外力がかかる動状態で使用するような場合、例えば移動中に被写体を撮像するような場合でも、各種データの正確な取得及び正確な測位演算が実行可能になる。
ただし、後述するように、本実施形態の画像処理装置１２は、当該センサ部１０２から出力される３軸加速度データを用いずに、撮像部１０１から出力されるオブジェクト画像のデータを用いた画像処理を実行することで、視点変更画像のデータを生成するようにしている。
【００５１】
オブジェクトデータ生成部１０３は、撮像部１０１から出力された動画像を含むオブジェクト画像のデータに対して、センサ部１０２から出力された３軸加速度データを付加することによって、オブジェクトデータを生成する。例えば、オブジェクト画像が動画像である場合には、当該動画像を構成する各フレームやフィールド（これらを「単位画像」と呼ぶ）を単位として、単位画像毎にオブジェクトデータが生成される。
これにより、処理対象の単位画像が、撮像部１０１の光軸がどの方向に向いたときに撮像された画像であるのか容易に判断することができる。
【００５２】
送信部１０４は、オブジェクトデータ生成部１０３により生成された動画像を含むオブジェクトデータを単位画像を単位として、画像処理装置１２へ無線送信する。
【００５３】
このような構成のオブジェクト１１を用いて画像表示処理が実行される場合には、図６に示すように、画像処理装置１２の画像処理部３４において、オブジェクト画像取得部６１と、オブジェクト画像加工部６２と、が機能する。また、ＣＰＵ３１において、出力制御部７１と、視点変更部７２と、オブジェクト変更部７３と、制御信号受信部７４と、が機能する。
ただし、図６は例示であり、画像処理部３４の機能の少なくとも一部をＣＰＵ３１に委譲してもよいし、逆に、ＣＰＵ３１の機能の少なくとも一部を画像処理部３４に委譲してもよい。
また、画像処理装置１２の記憶部３９の一領域として、オブジェクトデータ記憶部８１と、参照情報記憶部８２と、が設けられている。なお、オブジェクトデータ記憶部８１及び参照情報記憶部８２が記憶部３９の一領域として設けられていることは例示であって、その他例えばリムーバブルメディア５１の一領域として設けられるようにしてもよい。
【００５４】
オブジェクトデータ記憶部８１は、オブジェクト１１から逐次送信されて画像処理装置１２に受信されたオブジェクトデータを逐次記憶する。オブジェクトデータは、オブジェクト１１−１〜１１−７毎にそれぞれ独立してオブジェクトデータ記憶部８１に記憶される。
【００５５】
参照情報記憶部８２は、視点変換画像を生成する上で参照される情報、例えば、競技場の各種位置において各種方向をそれぞれ予め撮像した撮像画像のデータを記憶する。
【００５６】
オブジェクト画像取得部６１は、オブジェクトデータ記憶部８１にオブジェクト１１毎に記憶されているオブジェクトデータのうち、選択オブジェクト１１のオブジェクトデータを含む、視点変換画像のデータの生成に必要な１以上のオブジェクト１１の各々のオブジェクトデータを取得して、オブジェクト画像加工部６２へ供給する。
なお、オブジェクトデータ記憶部８１にオブジェクト１１毎に記憶されているオブジェクトデータが動画像データである場合には、オブジェクト画像取得部６１は、当該動画像データをオブジェクトデータとして取得し、オブジェクト画像加工部６２へ供給する。
【００５７】
オブジェクト画像加工部６２は、オブジェクト画像取得部６１により取得された１以上のオブジェクトデータに基づいて、所定の移動方向に移動（移動速度０による移動、即ち静止も含む）を行う仮想視点から眺望方向に眺めた様子を示す視点変換画像のデータを生成する。
具体的には、オブジェクト画像加工部６２は、姿勢変化算出部９１と、移動方向算出部９２と、画像変換部９３と、を備える。
なお、オブジェクト画像取得部６１により取得されたオブジェクトデータに動画像データが含まれる場合には、オブジェクト画像加工部６２は、当該動画像データを加工することで、視点変換画像のデータを動画像データとして生成する。
【００５８】
姿勢変化算出部９１は、オブジェクトデータ記憶部８１に記憶されているオブジェクトデータの履歴から、選択オブジェクト１１等の姿勢変化を単位画像毎に算出する。
姿勢変化の算出手法は、特に限定されず、選択オブジェクト１１等の３軸加速度データを用いて算出する手法を採用してもよいが、本実施形態では、選択オブジェクト１１等のオブジェクト画像のデータについての前後の単位画像間の差分を用いて算出する手法を採用している。
【００５９】
移動方向算出部９２は、オブジェクトデータ記憶部８１に記憶されているオブジェクトデータの履歴から、選択オブジェクト１１の移動方向を単位画像毎に算出する。
移動方向の算出手法は、特に限定されず、選択オブジェクト１１等の３軸加速度データを用いて算出する手法を採用してもよいが、本実施形態では、選択オブジェクト１１等のオブジェクト画像のデータについての前後の単位画像間の差分を用いて算出する手法を採用している。
【００６０】
画像変換部９３は、姿勢変化算出部９１により算出された姿勢変化及び移動方向算出部９２により算出された移動方向に応じて、オブジェクト画像取得部６１により単位画像毎に取得されるオブジェクト画像のデータを加工することによって、当該移動方向に移動を行う仮想視点から眺望方向に眺めた様子を示す視点変換画像のデータを生成する。
ここで、仮想視点は、選択オブジェクト１１における仮想視点の他、任意の位置の物体（仮想物体含む）に配置された仮想視点（例えば図３の仮想視点１５−１〜１５−３）も含む。また、仮想視点の移動とは、移動速度が０の移動、即ち静止状態も含む。
オブジェクト画像加工部６２は、生成した視点変換画像のデータをオブジェクトデータ記憶部８１に記憶する。
【００６１】
出力制御部７１は、オブジェクト画像加工部６２により生成された視点変換画像のデータの出力を制御する。
ここで、視点変換画像のデータの出力の形態は、特に限定されないが、本実施形態では、画像処理装置１２の表示部３８に表示出力する形態と、外部端末１４に送信出力する形態とがある。
即ち、出力制御部７１は、視点変換画像を表示部３８に表示する制御と、視点変換画像のデータを通信部４０及びネットワークＮを介して外部端末１４へ送信する制御とを実行する。
なお、オブジェクト画像加工部６２により生成された視点変換画像のデータが動画像データである場合には、出力制御部７１は、動画像データとして生成された視点変換画像のデータの出力を制御する。
【００６２】
視点変更部７２は、入力部３７に対してなされた操作、又は外部端末１４からの遠隔操作が視点の変更を指示する操作（以下、「視点変更指示操作」と呼ぶ）であった場合、オブジェクト画像加工部６２により生成される視点変換画像のデータについての仮想視点の配置先を変更する。視点変更部７２が変更対象とする仮想視点の配置候補となるオブジェクト又はそれ以外の物体（仮想物体含む）は複数存在する。
ここで、仮想視点の配置先の変更とは、仮想視点の位置（対象）の変更と、仮想視点の眺望方向の変更とを含む。仮想視点の位置（対象）の変更とは、オブジェクト１１−１〜１１−７の各々における仮想視点、及び、任意の位置の仮想視点（図３の仮想視点１５−１〜１５−３等）のうち、指定された仮想視点を選択することをいう。仮想視点の眺望方向の変更とは、仮想視点の位置は保持したまま、仮想視点が眺める方向を任意に変更することをいう。
【００６３】
オブジェクト変更部７３は、入力部３７に対してなされた操作、又は外部端末１４からの遠隔操作が選択オブジェクトの変更を指示する操作（以下、「オブジェクト変更指示操作」と呼ぶ）に基づいて、複数のオブジェクト１１−１〜１１−７の中から選択オブジェクトを変更する。
【００６４】
制御信号受信部７４は、外部端末１４から送信された制御信号を、ネットワークＮ及び通信部４０を介して受信する。即ち、外部端末１４は、上述の如く各種指示を制御信号として送信することで、画像処理装置１２を遠隔操作することができる。このような遠隔操作の対象となる制御信号としては、視点変更部７２に対して視点変更を指示する制御信号や、オブジェクト変更部７３に対して選択オブジェクトを指示する制御信号が存在する。
【００６５】
以上、本実施形態の画像処理装置１２の機能的構成について説明した。続いて、図７を参照して、このような機能的構成を備える画像処理装置１２が実行する画像表示処理について説明する。
図７は、図６の機能的構成を備える画像処理装置１２が実行する画像表示処理の一連の流れを説明するフローチャートである。
【００６６】
画像処理装置１２の入力部３７を操作するユーザは、画像表示処理の開始を指示する所定の操作をすることができる。
画像表示処理は、このようなユーザによる所定の操作を契機として開始され、次のような処理が実行される。
【００６７】
ステップＳ１１において、ＣＰＵ３１及び画像処理部３４の図６に示す各機能ブロックは、後述の図８を参照して説明する画像変換処理を実行することで、視点変換画像のデータを生成して、オブジェクトデータ記憶部８１に記憶させる。
【００６８】
ステップＳ１２において、ＣＰＵ３１の出力制御部７１は、オブジェクトデータ記憶部８１に記憶されているデータのうち、ステップＳ１１の画像変換処理でオブジェクト画像加工部６２により生成された視点変換画像のデータを取得し、当該視点変換画像を表示部３８に表示させる。
【００６９】
ステップＳ１３において、出力制御部７１は、ステップＳ１２の処理で表示対象となった視点変換画像のデータを、通信部４０及びネットワークＮを介して外部端末１４に送信する。
【００７０】
ステップＳ１４において、視点変更部７２は、視点変更操作の指示を受け付けたか否かを判定する。
視点変更操作の指示を受けた場合には、ステップＳ１４においてＹＥＳであると判定されて、処理はステップＳ１５に進む。
【００７１】
ステップＳ１５において、視点変更部７２は、オブジェクト画像加工部６２により生成される視点変換画像についての仮想視点を変更する。この処理が終了すると、処理はステップＳ２０に進む。ただし、ステップＳ２０以降の処理については後述する。
【００７２】
これに対して、視点変更操作の指示を受けていない場合には、ステップＳ１４においてＮＯであると判定されて、処理はステップＳ１６に進む。
【００７３】
ステップＳ１６において、オブジェクト変更部７３は、オブジェクト選択操作の指示を受け付けたか否かを判定する。
オブジェクト変更操作の指示を受けた場合には、ステップＳ１６においてＹＥＳであると判定されて、処理はステップＳ１７に進む。
【００７４】
ステップＳ１７において、オブジェクト変更部７３は、選択オブジェクトを、複数のオブジェクト１１−１〜１１−７の中から選択した１つに変更する。この処理が終了すると、処理はステップＳ２０に進む。ただし、ステップＳ２０以降の処理については後述する。
【００７５】
これに対して、オブジェクト変更操作の指示を受けていない場合には、ステップＳ１６においてＮＯであると判定されて、処理はステップＳ１８に進む。
ステップＳ１８において、制御信号受信部７４は、外部端末１４から制御信号を受信したか否かを判定する。外部端末１４から制御信号を受信していない場合には、ステップＳ１８においてＮＯであると判定されて、処理はステップＳ２０に進む。ただし、ステップＳ２０以降の処理については後述する。
【００７６】
これに対して、外部端末１４から制御信号を受信した場合には、ステップＳ１８においてＹＥＳであると判定されて処理はステップＳ１９に進む。
ステップＳ１９において、視点変更部７２又はオブジェクト変更部７３は、受信した制御信号に応じて、仮想視点又は選択オブジェクトを変更する。
この処理では、視点変更指示操作を示す制御信号であった場合には、当該制御信号が視点変更部７２に供給され、ステップＳ１５の処理と同様の処理が実行されて、仮想視点が変更される。また、オブジェクト変更指示操作を示す制御信号であった場合には、当該制御信号がオブジェクト変更部７３に供給され、ステップＳ１７の処理と同様の処理が実行されて、選択オブジェクトが変更される。なお、視点変更指示操作及びオブジェクト変更指示操作の両者を含む制御信号であった場合には、仮想視点と選択オブジェクトの両者が変更される。この処理が終了すると処理はステップＳ２０に進む。
【００７７】
ステップＳ２０において、出力制御部７１は、画像表示処理の終了指示を受けたか否かを判定する。
終了指示を受けていない場合には、ステップＳ２０においてＮＯであると判定されて、処理はステップＳ１１に戻る。即ち、画像表示処理の終了指示が受け付けるまでの間、ステップＳ１１乃至ステップＳ２０の処理が繰り返し実行される。そして、画像表示処理の終了指示が受け付けられると、ステップＳ２０においてＹＥＳであると判定されて、画像表示処理は終了となる。
【００７８】
次に、図８を参照して、図７の画像表示処理のうち、ステップＳ１１の画像変換処理の詳細な流れについて説明する。
図８は、図７の画像表示処理のうち、第１実施形態に係る画像変換処理について説明するフローチャートである。
なお、図８には、選択オブジェクト１１が仮想視点となって視点変換画像が生成される場合であって、選択オブジェクト１１からのオブジェクトデータには、オブジェクト画像のデータのみが含まれている場合を例とした画像変換処理が示されている。
【００７９】
ステップＳ３１において、通信部４０は、選択オブジェクト１１からのオブジェクト画像のデータを、ネットワークＮを介して逐次受信する。
ステップＳ３２において、通信部４０は、オブジェクト画像のデータを、それが撮像された時刻（近似的に現時刻でもよい）と対応付けてオブジェクトデータ記憶部８１に記憶させる。
【００８０】
ステップＳ３３において、姿勢変化算出部９１は、オブジェクトデータ記憶部８１に記憶されているオブジェクト画像のデータの履歴から、選択オブジェクト１１の姿勢変化を算出する。
【００８１】
ステップＳ３４において、移動方向算出部９２は、オブジェクトデータ記憶部８１に記憶されているオブジェクト画像のデータの履歴から、選択オブジェクト１１の移動方向を算出する。
【００８２】
ステップＳ３５において、画像変換部９３は、ステップＳ３３において姿勢変化算出部９１が算出した姿勢変化と、ステップＳ３４において移動方向算出部９２が算出した移動方向とに応じた画像変換を行うことで、移動方向に移動する選択オブジェクト１１を仮想視点として、当該仮想視点が所定の眺望方向に眺めた様子を示す視点変換画像のデータを生成する。
この処理が終了すると、画像変換処理は終了となり、即ち、図７のステップ１１の処理が終了し、処理はステップＳ１２に進む。
【００８３】
以上説明したように、本実施形態の画像処理装置１２は、オブジェクト画像取得部６１と、オブジェクト画像加工部６２と、出力制御部７１と、を具備する。
オブジェクト画像取得部６１は、光軸方向を視点とする撮像画像を撮像する撮像部１０１及び撮像画像のデータを送信する送信部１０４を備えたオブジェクト１１であって、姿勢変化をしながら移動し得るオブジェクト１１から逐次送信される撮像画像のデータを、オブジェクト画像のデータとして逐次取得する。
オブジェクト画像加工部６２は、オブジェクト画像取得部６１により逐次取得されたオブジェクト画像のデータを加工することで、オブジェクト１１又はそれ以外の実物体若しくは仮想物体に配置された仮想視点１５−１〜１５−３が所定の移動方向に移動しながら所定の眺望方向を眺めた様子を表わす画像のデータを、視点変換画像のデータとして生成する。
出力制御部７１は、オブジェクト画像加工部６２により生成された視点変換画像のデータを出力する制御を実行する。
この場合、画像処理装置１２は、姿勢変化しながら移動しているオブジェクト１１が撮影した画像のうち、所定の移動方向に移動しながら所定の眺望方向を眺めた様子を表わす画像のデータのみを得ることができる。そして得られた画像データを出力することができる。
即ち、上下左右３６０度姿勢変化しながら移動しながら撮影されるオブジェクト１１により撮像される画像のうち、所望する方向の画像のみを確認することができる。従って、ボールや選手等をオブジェクトとして選択するだけで、実際のスポーツ競技やプレー中の情景を、ボール等の用具や選手等の視点で映像として見ることができる。また、ボール等の用具や選手等の運動や速度、高さ等で、新しい眺望世界や、迫力あるダイナミックな映像を再現することができる。このため、鑑賞者が所望する視点で撮影されたとの等価な画像を容易に得ることができる。また、オブジェクト１１自体は高度な画像処理を行う必要がないため、オブジェクト１１に対する軽量化及びコストの低減を図ることもできる。
【００８４】
また、画像処理装置１２における仮想視点はオブジェクト１１に配置されたものであり、仮想視点の所定の移動方向はオブジェクトの移動方向に基づく方向であってもよい。この場合、鑑賞者はオブジェクト１１の視点で撮影されたとの等価な画像を得ることができる。
【００８５】
また、画像処理装置１２のオブジェクト画像加工部６２は、オブジェクト画像のデータを、姿勢変化を補正しつつ加工することで、視点変換画像のデータを生成してもよい。
この場合、画像処理装置１２は、姿勢変化しながら移動しているオブジェクト１１が撮像した画像のうち、オブジェクトの移動方向に基づく視点とした視点変換画像のデータを得ることができる。従って、オブジェクト１１がブレたり、別の方向に揺れたりしても、それに追随してブレたり、揺れたりすることなくオブジェクト１１の仮想視点から眺めた様子を表わす画像のデータを得ることができる。
【００８６】
また、画像処理装置１２におけるオブジェクト１１は、さらに回転を伴う移動をし得るものである。
オブジェクト画像加工部６２は、オブジェクト画像のデータのうち、光軸方向がオブジェクト１１の移動方向と略一致しているときに撮像部１０１により撮像された撮像画像のデータを抽出し、抽出した撮像画像のデータを加工することで、視点変換画像のデータを生成してもよい。
この場合、画像処理装置１２は、オブジェクト１１の移動方向のみの撮像画像のデータに基づいて視点変更画像のデータを生成する。従って、オブジェクト１１が回転したり、揺れたりすることにより、撮像部１０１の光軸方向がオブジェクトの進行方向とは異なる方向に向いた画像を除外し、オブジェクト１１の移動方向から眺めた様子を表わす画像のデータを得ることができる。
【００８７】
また、オブジェクト画像加工部６２は、抽出した複数の撮像画像のデータの時間方向の合間に、補間又は創造した画像のデータを挿入する加工をさらにすることで、視点変換画像のデータを生成することができる。
この場合、視点変換画像は、よりスムーズに表現される動画像となるので、迫力あるダイナミックな映像をよりリアルに再現することができる。
【００８８】
また、画像処理装置１２のオブジェクト画像加工部６２は、姿勢変化算出部９１と、画像変換部９３と、を備える。
姿勢変化算出部９１は、オブジェクト画像取得部６１により逐次取得されたオブジェクト画像のデータの履歴に基づいて、オブジェクト画像の各々が撮像部１０１に撮影された際のオブジェクトの姿勢の変化を算出する。
画像変換部９３は、姿勢変化算出部の算出結果に基づいて、オブジェクト画像のデータを、視点変換画像のデータに変換する。
この場合、オブジェクト１１として球状のボール等が選択された場合であっても、取得されたオブジェクト画像のデータを用いた画像処理のみで、オブジェクト１１からの視点の画像が、姿勢変化に合わせて目まぐるしく変化することなく安定して出力される。
【００８９】
また、画像処理装置１２のオブジェクト画像加工部６２は、移動方向算出部９２をさらに備える。
移動方向算出部９２は、オブジェクト画像取得部６１により逐次取得されたオブジェクト画像のデータの履歴に基づいて、オブジェクトの移動方向を算出する。
画像変換部９３は、姿勢変化算出部９１の算出結果に加えてさらに移動方向算出部９２の算出結果基づいて、オブジェクト画像のデータを、視点変換画像のデータに変換する。この場合、鑑賞者が所望する移動方向から眺めた様子を表わす画像のデータを得ることができる。
【００９０】
また、画像処理装置１２は、オブジェクト変更部７３をさらに備えてもよい。
オブジェクトは複数であり、オブジェクト変更部７３は、複数のオブジェクトの中で、オブジェクト画像取得部６１によるオブジェクト画像のデータの取得の対象となるオブジェクトを変更する。
この場合、鑑賞者は必要に応じて、複数のオブジェクト１１のうち所望のオブジェクト１１の視点の映像を得ることができる。
【００９１】
また、画像処理装置１２は、視点変更部７２をさらに備えてもよい。
仮想視点の配置候補となるオブジェクト又は物体は複数であり、視点変更部７２は、複数の配置候補の中で、仮想視点の配置先を変更する。
この場合、鑑賞者は必要に応じて、複数の視点のうち所望の視点の映像を得ることができる。
【００９２】
また、画像処理装置１２における仮想視点１５−１〜１５−３は、移動速度が０の物体に配置されたものであってもよい。
この場合、鑑賞者は必要に応じて、所望の視点において安定した映像を得ることができる。
【００９３】
また、画像処理装置１２における仮想視点１５−１〜１５−３は、移動速度が０の相互に離間した複数の物体に配置されてもよい。
オブジェクト画像加工部６２は、仮想視点１５−１〜１５−３が複数の物体の各々に移動した場合の視点変換画像のデータを生成してもよい。
この場合、所望の視点において新しい眺望世界や、迫力あるダイナミックな映像を再現することができる。
【００９４】
また、画像処理装置１２における仮想視点は、オブジェクト１１以外の移動物体に配置されてもよい。ここでいう移動物体は、仮想的な移動物体を含む。この場合、仮想視点１５−１〜１５−３は、上述の如く、仮想的な移動物体に配置された１つの仮想視点が、その移動中に３つの位置をそれぞれ通過した際の様子を示すものと把握することもできる。
この場合、さらに選択の自由度の高い様々な視点において、新しい眺望世界や、迫力あるダイナミックな映像をより適切に再現することができる。
【００９５】
また、画像処理装置１２は、画像を表示する表示部３８をさらに備えてもよい。
出力制御部７１は、視点変換画像を表示部３８に表示する制御を実行する。
この場合、鑑賞者であるテレビ局の編集局員等は、表示部３８を通じて、容易にオブジェクト１１の視点の画像を確認することができる。
【００９６】
また、画像処理装置１２は、表示機能を備えた外部端末１４と通信する通信部４０をさらに備えてもよい。
出力制御部７１は、視点変換画像のデータを、通信部４０から外部端末１４に送信する制御を実行する。
これにより、鑑賞者は、インターネット回線等を通じて接続された外部端末１４を操作するだけで、あたかも自分自身が競技場内を移動するボール等のオブジェクト１１になったかのような視点の画像を見ることができる。
【００９７】
また、画像処理装置１２は、通信部４０を介して外部端末１４からの制御信号を受信する制御信号受信部７４をさらに備えてもよい。
オブジェクト画像加工部６２は、制御信号受信部７４に受信された制御信号に応じた画像変換を行うことで、視点変換画像のデータを生成する。
これにより、鑑賞者は、インターネット回線等を通じて接続された外部端末１４を操作するだけで、鑑賞者自身の好みの画像を選択することができる。
【００９８】
また、画像処理装置１２におけるオブジェクト１１から送信される撮像画像のデータは動画像データであってもよい。
オブジェクト画像取得部６１は、オブジェクトから送信される動画像データを、オブジェクト画像のデータとして取得する。
オブジェクト画像加工部６２は、オブジェクト画像取得部６１により取得された動画像データを加工することで、視点変換画像のデータを動画像データとして生成する。
出力制御部７１は、オブジェクト画像加工部６２により動画像データとして生成された視点変換画像のデータを出力する制御を実行する。
この場合、オブジェクト１１の視点での迫力のあるダイナミックな動画像データを得ることができる。
【００９９】
以上、本発明の第１実施形態に係る画像処理装置１２について説明した。
次に、本発明の第２実施形態に係る画像処理装置１２について説明する。
【０１００】
［第２実施形態］
本発明の第２実施形態に係る画像処理装置１２は、第１実施形態に係る画像処理装置１２と基本的に同様のハードウェア構成及び機能的構成を取ることができる。
従って、図５は、第２実施形態に係る画像処理装置１２のハードウェアの構成を示すブロック図でもある。
【０１０１】
さらに、第２実施形態に係る画像処理装置１２が実行する画像表示処理は、第１実施形態に係る画像表示処理と基本的に同様の流れとなる。従って、図７は、第２実施形態に係る画像表示処理の流れを説明するフローチャートでもある。
さらに、第２実施形態に係る画像処理装置１２が実行する画像変換処理は、第１実施形態に係る画像変換処理と基本的に同様の流れとなる。従って、図８は、第２実施形態に係る画像変換処理の流れを説明するフローチャートでもある。
ただし、第２実施形態では、画像変換処理のうちステップＳ３１乃至ステップＳ３４の処理については、第１実施形態で採用された図８のフローチャートではなく、図９のフローチャートが採用される。
図９は、図６の機能的構成を備える図５の画像処理装置１２が実行する、第２実施形態に係る画像変換処理の流れを説明するフローチャートである。
【０１０２】
上述した第１実施形態における図８の画像変換処理では、
オブジェクト画像のデータの履歴からオブジェクト１１の姿勢変化や移動方向を算出しているのに対して、第２実施形態における図９の画像変換処理では、オブジェクトデータに付加された３軸加速度データに基づいてオブジェクト１１の姿勢変化や移動方向を算出している点が差異点である。詳細には、第２実施形態では、第１実施形態に係るステップＳ３１乃至ステップＳ３４の処理に代えて、ステップＳ５１乃至ステップＳ５４の処理が実行される点が差異点である。
そこで、以下、このような差異点について主に説明し、一致点の説明は適宜省略する。
【０１０３】
ステップＳ５１において、通信部４０は、選択オブジェクトからのオブジェクトデータを、ネットワークＮを介して逐次受信する。
ステップＳ５２において、通信部４０は、オブジェクトデータを、オブジェクトデータに含まれるオブジェクト画像が撮像された時刻（近似的に現時刻でもよい）と対応付けてオブジェクトデータ記憶部８１に記憶させる。
【０１０４】
ステップＳ５３において、姿勢変化算出部９１は、オブジェクトデータ記憶部８１に記憶されているオブジェクトデータに付加された３軸加速度データから、選択オブジェクト１１の姿勢変化を算出する。
【０１０５】
ステップＳ５４において、移動方向算出部９２は、オブジェクトデータ記憶部８１に記憶されているオブジェクトデータに付加された３軸加速度データから、選択オブジェクト１１の移動方向を算出する。
【０１０６】
ステップＳ５５において、画像変換部９３は、ステップＳ５３において姿勢変化算出部９１が算出した姿勢方向と、ステップＳ５４において移動方向算出部９２が算出した移動方向とに応じた画像変換を行うことで、移動方向に移動する選択オブジェクト１１を仮想視点として、当該仮想視点が所定方向に眺めた様子を示す始点変換画像のデータを生成する。
この処理が終了すると、画像変換処理は終了となり、即ち、図７のステップＳ１１の処理が終了し、処理はステップＳ１２に進む。
【０１０７】
以上説明したように、本実施形態の画像処理装置１２におけるオブジェクト１１は加速度センサをさらに搭載し、加速度センサにより取得された情報を撮像画像のデータに付加して送信してもよい。
オブジェクト画像取得部６１は、撮像画像のデータに付加された情報をさらに取得する。
オブジェクト画像加工部６２は、視点変換画像の生成の際に、オブジェクト画像取得部６１により取得された情報を利用する。
この場合、画像認識等の技術を用いずに視点変更画像のデータを得ることができるため、画像処理に要する負担の軽減を図ることができる。また、各種センサにより得られる情報に基づいて視点変更画像を生成することができるため、より正確な視点を認識して視点変更画像を生成することができる。
【０１０８】
なお、本発明は、上述の実施形態に限定されるものではなく、本発明の目的を達成できる範囲での変形、改良等は本発明に含まれるものである。
【０１０９】
上述の実施形態では、センサ部１０２は、３軸加速度センサにより形成されているがこれに限られるものではない。例えば、センサ部１０２は、重力センサにより構成することでオブジェクト１１の傾きを検出してもよい。撮像部１０１から出力されたオブジェクト画像のデータに対して、重力センサにより検出された傾斜データを付加することによって、オブジェクトデータを生成することができる。
上述の実施形態では、本発明が適用される上述の実施形態では、ボールをオブジェクトとして選択する例について説明したがこれに限定されない。例えば、スポーツ競技用のバット、ラケット、クラブ、シューズ等の弾性体や半透明体の球体やスポーツ用具状の外装の中に撮像部を組み込むか、着脱式に装着するか、又は貼付して使用することができる。
【０１１０】
撮像部１０１は、連続撮影した画像の画像データを逐次送信部１０４を通じて画像処理装置１２へ送信しているがこれに限られるものではない。例えば、大容量のメモリ（図示せず）に記憶した後、所定の時間毎、容量毎、又は通信速度に応じて分割して、画像処理装置１２へ送信することができる。
【０１１１】
また、上述の実施形態では、本発明が適用される画像処理装置１２が使用される画像処理システム１０は、スポーツが行われる競技場で用いられる例について説明したがこれに限定されない。例えば、舞台中継等に適用可能である。
【０１１２】
上述した一連の処理は、ハードウェアにより実行させることもできるし、ソフトウェアにより実行させることもできる。
換言すると、図６の機能的構成は例示に過ぎず、特に限定されない。即ち、上述した一連の処理を全体として実行できる機能が画像処理装置１２に備えられていれば足り、この機能を実現するためにどのような機能ブロックを用いるのかは特に図６の例に限定されない。
また、１つの機能ブロックは、ハードウェア単体で構成してもよいし、ソフトウェア単体で構成してもよいし、それらの組み合わせで構成してもよい。
【０１１３】
一連の処理をソフトウェアにより実行させる場合には、そのソフトウェアを構成するプログラムが、コンピュータ等にネットワーク２１や記録媒体からインストールされる。
コンピュータは、専用のハードウェアに組み込まれているコンピュータであってもよい。また、コンピュータは、各種のプログラムをインストールすることで、各種の機能を実行することが可能なコンピュータ、例えば汎用のパーソナルコンピュータであってもよい。
【０１１４】
このようなプログラムを含む記録媒体は、ユーザにプログラムを提供するために装置本体とは別に配布される図５のリムーバブルメディア５１により構成されるだけでなく、装置本体に予め組み込まれた状態でユーザに提供される記録媒体等で構成される。リムーバブルメディア５１は、例えば、磁気ディスク（フロッピディスクを含む）、光ディスク、又は光磁気ディスク等により構成される。光ディスクは、例えば、ＣＤ−ＲＯＭ（Ｃｏｍｐａｃｔ Ｄｉｓｋ−Ｒｅａｄ Ｏｎｌｙ Ｍｅｍｏｒｙ），ＤＶＤ（Ｄｉｇｉｔａｌ Ｖｅｒｓａｔｉｌｅ Ｄｉｓｋ）等により構成される。光磁気ディスクは、ＭＤ（Ｍｉｎｉ−Ｄｉｓｋ）等により構成される。また、装置本体に予め組み込まれた状態でユーザに提供される記録媒体は、例えば、プログラムが記録されている図５のＲＯＭ３２や、図５の記憶部３９に含まれるハードディスク等で構成される。
【０１１５】
なお、本明細書において、記録媒体に記録されるプログラムを記述するステップは、その順序に沿って時系列的に行われる処理はもちろん、必ずしも時系列的に処理されなくとも、並列的或いは個別に実行される処理をも含むものである。
また、本明細書において、システムの用語は、複数の装置や複数の手段等より構成される全体的な装置を意味するものとする。
【０１１６】
以上、本発明のいくつかの実施形態について説明したが、これらの実施形態は、例示に過ぎず、本発明の技術的範囲を限定するものではない。本発明はその他の様々な実施形態を取ることが可能であり、さらに、本発明の要旨を逸脱しない範囲で、省略や置換等種々の変更を行うことができる。これら実施形態やその変形は、本明細書等に記載された発明の範囲や要旨に含まれるとともに、特許請求の範囲に記載された発明とその均等の範囲に含まれる。
【０１１７】
以下に、本願の出願当初の特許請求の範囲に記載された発明を付記する。
［付記１］
光軸方向を視点とする撮像画像を撮像する撮像部及び前記撮像画像のデータを送信する送信部を備えたオブジェクトであって、姿勢変化をしながら移動し得る前記オブジェクトから逐次送信される前記撮像画像のデータを、オブジェクト画像のデータとして逐次取得するオブジェクト画像取得手段と、
前記オブジェクト画像取得手段により逐次取得された前記オブジェクト画像のデータを加工することで、前記オブジェクト又はそれ以外の物体（実物体若しくは仮想物体）に配置された仮想視点が所定の移動方向に移動しながら所定の眺望方向を眺めた様子を表わす画像のデータを、視点変換画像のデータとして生成するオブジェクト画像加工手段と、
前記オブジェクト画像加工手段により生成された前記視点変換画像のデータを出力する制御を実行する出力制御手段と、
を備えることを特徴とする画像処理装置。
［付記２］
前記仮想視点は前記オブジェクトに配置されたものであり、前記仮想視点の前記所定の移動方向は前記オブジェクトの移動方向に基づく方向である、
ことを特徴とする付記１に記載の画像処理装置。
［付記３］
前記オブジェクト画像加工手段は、前記オブジェクト画像のデータを、前記姿勢変化を補正しつつ加工することで、前記視点変換画像のデータを生成する、
ことを特徴とする付記２に記載の画像処理装置。
［付記４］
前記オブジェクトはさらに回転を伴う移動をし得るものであり、
前記オブジェクト画像加工手段は、前記オブジェクト画像のデータのうち、光軸方向が前記オブジェクトの移動方向と略一致しているときに前記撮像部により撮像された撮像画像のデータを抽出し、抽出した前記撮像画像のデータを加工することで、前記視点変換画像のデータを生成する、
ことを特徴とする付記２又は３に記載の画像処理装置。
［付記５］
前記オブジェクト画像加工手段は、抽出した複数の前記撮像画像のデータの時間方向の合間に、補間又は創造した画像のデータを挿入する加工をさらにすることで、前記視点変換画像のデータを生成する、
ことを特徴とする付記４に記載の画像処理装置。
［付記６］
前記オブジェクト画像加工手段は、
前記オブジェクト画像取得手段により逐次取得された前記オブジェクト画像のデータの履歴に基づいて、前記オブジェクト画像の各々が前記撮像部に撮影された際の前記オブジェクトの姿勢の変化を算出する姿勢変化算出手段と、
前記姿勢変化算出手段の算出結果に基づいて、前記オブジェクト画像のデータを、前記視点変換画像のデータに変換する画像変換手段と、
を備えることを特徴とする付記１乃至５の何れか１つに記載の画像処理装置。
［付記７］
前記オブジェクト画像加工手段は、前記オブジェクト画像取得手段により逐次取得された前記オブジェクト画像のデータの履歴に基づいて、前記オブジェクトの移動方向を算出する移動方向算出手段をさらに備え、
前記画像変換手段は、前記姿勢変化算出手段の算出結果に加えてさらに前記移動方向算出手段の算出結果基づいて、前記オブジェクト画像のデータを、前記視点変換画像のデータに変換する
ことを特徴とする付記６に記載の画像処理装置。
［付記８］
前記オブジェクトは加速度センサ又は重力センサをさらに搭載し、
前記加速度センサ又は前記重力センサにより取得された情報を前記撮像画像のデータに付加して送信し、
前記オブジェクト画像取得手段は、前記撮像画像のデータに付加された前記情報をさらに取得し、
前記オブジェクト画像加工手段は、前記視点変換画像の生成の際に、前記オブジェクト画像取得手段により取得された前記情報を利用する、
ことを特徴とする付記１乃至７のうち何れか１つに記載の画像処理装置。
［付記９］
前記オブジェクトは複数であり、
複数の前記オブジェクトの中で、前記オブジェクト画像取得手段による前記オブジェクト画像のデータの取得の対象となるオブジェクトを変更するオブジェクト変更手段をさらに備える、
ことを特徴とする付記１乃至８のうち何れか１つに記載の画像処理装置。
［付記１０］
前記仮想視点の配置候補となる前記オブジェクト又は前記物体は複数であり、
前記複数の配置候補の中で、前記仮想視点の配置先を変更する視点変更手段をさらに備える、
ことを特徴とする付記１乃至９のうち何れか１つに記載の画像処理装置。
［付記１１］
前記仮想視点は、移動速度が０の前記物体に配置されたものである、
ことを特徴とする付記１に記載の画像処理装置。
［付記１２］
前記仮想視点は、移動速度が０の相互に離間した複数の物体に配置され、
前記オブジェクト画像加工手段は、前記仮想視点が前記複数の物体の各々に移動した場合の前記視点変換画像のデータを生成する、
ことを特徴とする付記１１に記載の画像処理装置。
［付記１３］
前記仮想視点は、前記物体として移動物体に配置されたものである、
ことを特徴とする付記１に記載の画像処理装置。
［付記１４］
画像を表示する表示手段をさらに備え、
前記出力制御手段は、前記視点変換画像を前記表示手段に表示する制御を実行する、
ことを特徴とする付記１乃至１３の何れか１つに記載の画像処理装置。
［付記１５］
表示機能を備えた外部端末と通信する通信手段をさらに備え、
前記出力制御手段は、前記視点変換画像のデータを、前記通信手段から前記外部端末に送信する制御を実行する、
ことを特徴とする付記１乃至１４の何れか１つに記載の画像処理装置。
［付記１６］
前記通信手段を介して前記外部端末からの制御信号を受信する制御信号受信手段をさらに備え、
前記オブジェクト画像加工手段は、前記制御信号受信手段に受信された前記制御信号に応じた画像変換を行うことで、前記視点変換画像のデータを生成する、
ことを特徴とする付記１５に記載の画像処理装置。
［付記１７］
前記オブジェクトから送信される撮像画像のデータは動画像データであって、
前記オブジェクト画像取得手段は、前記オブジェクトから送信される前記動画像データを、前記オブジェクト画像のデータとして取得し、
前記オブジェクト画像加工手段は、前記オブジェクト画像取得手段により取得された前記動画像データを加工することで、前記視点変換画像のデータを動画像データとして生成し、
前記出力制御手段は、前記オブジェクト画像加工手段により動画像データとして生成された前記視点変換画像のデータを出力する制御を実行する、
ことを特徴とする付記１乃至１６の何れか１つに記載の画像処理装置。
［付記１８］
視点変換画像のデータを出力する制御を実行する画像処理装置が実行する画像処理方法であって、
光軸方向を視点とする撮像画像を撮像する撮像部及び前記撮像画像のデータを送信する送信部を備えたオブジェクトであって、姿勢変化をしながら移動し得る前記オブジェクトから逐次送信される前記撮像画像のデータを、オブジェクト画像のデータとして逐次取得するオブジェクト画像取得ステップと、
前記オブジェクト画像取得ステップにより逐次取得された前記オブジェクト画像のデータを加工することで、前記オブジェクト又はそれ以外の物体（実物体若しくは仮想物体）に配置された仮想視点が所定の移動方向に移動しながら所定の眺望方向を眺めた様子を表わす画像のデータを、視点変換画像のデータとして生成するオブジェクト画像加工ステップと、
前記オブジェクト画像加工ステップにより生成された前記視点変換画像のデータを出力する制御を実行する出力制御ステップと、
を含む画像処理方法。
［付記１９］
視点変換画像のデータを出力する制御を実行する画像処理装置を制御するコンピュータに、
光軸方向を視点とする撮像画像を撮像する撮像部及び前記撮像画像のデータを送信する送信部を備えたオブジェクトであって、姿勢変化をしながら移動し得る前記オブジェクトから逐次送信される前記撮像画像のデータを、オブジェクト画像のデータとして逐次取得するオブジェクト画像取得機能、
前記オブジェクト画像取得機能、により逐次取得された前記オブジェクト画像のデータを加工することで、前記オブジェクト又はそれ以外の物体（実物体若しくは仮想物体）に配置された仮想視点が所定の移動方向に移動しながら所定の眺望方向を眺めた様子を表わす画像のデータを、視点変換画像のデータとして生成するオブジェクト画像加工機能、
前記オブジェクト画像加工機能、により生成された前記視点変換画像のデータを出力する制御を実行する出力制御機能、
を含む機能を実現させるプログラム。
【符号の説明】
【０１１８】
１０・・・画像処理システム、１１・・・オブジェクト、１２・・・画像処理装置、１３・・・中継装置、１４・・・外部端末、３１・・・ＣＰＵ、３２・・・ＲＯＭ、３３・・・ＲＡＭ、３４・・・画像処理部、３５・・・バス、３６・・・入出力インターフェース、３７・・・入力部、３８・・・表示部、３９・・・記憶部、４０・・・通信部、４１・・・ドライブ、５１・・・リムーバブルメディア、６１・・・オブジェクト画像取得部、６２・・・オブジェクト画像加工部、７１・・・出力制御部、７２・・・視点変更部、７３・・・オブジェクト変更部、７４・・・制御信号受信部、８１・・・オブジェクトデータ記憶部、８２・・・参照情報記憶部、１０１・・・撮像部、１０２・・・センサ部、１０３・・・オブジェクトデータ生成部、１０４・・・送信部
【特許請求の範囲】
【請求項１】
光軸方向を視点とする撮像画像を撮像する撮像部及び前記撮像画像のデータを送信する送信部を備えたオブジェクトであって、姿勢変化をしながら移動し得る前記オブジェクトから逐次送信される前記撮像画像のデータを、オブジェクト画像のデータとして逐次取得するオブジェクト画像取得手段と、
前記オブジェクト画像取得手段により逐次取得された前記オブジェクト画像のデータを加工することで、前記オブジェクト又はそれ以外の物体（実物体若しくは仮想物体）に配置された仮想視点が所定の移動方向に移動しながら所定の眺望方向を眺めた様子を表わす画像のデータを、視点変換画像のデータとして生成するオブジェクト画像加工手段と、
前記オブジェクト画像加工手段により生成された前記視点変換画像のデータを出力する制御を実行する出力制御手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記仮想視点は前記オブジェクトに配置されたものであり、前記仮想視点の前記所定の移動方向は前記オブジェクトの移動方向に基づく方向である、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記オブジェクト画像加工手段は、前記オブジェクト画像のデータを、前記姿勢変化を補正しつつ加工することで、前記視点変換画像のデータを生成する、
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記オブジェクトはさらに回転を伴う移動をし得るものであり、
前記オブジェクト画像加工手段は、前記オブジェクト画像のデータのうち、光軸方向が前記オブジェクトの移動方向と略一致しているときに前記撮像部により撮像された撮像画像のデータを抽出し、抽出した前記撮像画像のデータを加工することで、前記視点変換画像のデータを生成する、
ことを特徴とする請求項２又は３に記載の画像処理装置。
【請求項５】
前記オブジェクト画像加工手段は、抽出した複数の前記撮像画像のデータの時間方向の合間に、補間又は創造した画像のデータを挿入する加工をさらにすることで、前記視点変換画像のデータを生成する、
ことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記オブジェクト画像加工手段は、
前記オブジェクト画像取得手段により逐次取得された前記オブジェクト画像のデータの履歴に基づいて、前記オブジェクト画像の各々が前記撮像部に撮影された際の前記オブジェクトの姿勢の変化を算出する姿勢変化算出手段と、
前記姿勢変化算出手段の算出結果に基づいて、前記オブジェクト画像のデータを、前記視点変換画像のデータに変換する画像変換手段と、
を備えることを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。
【請求項７】
前記オブジェクト画像加工手段は、前記オブジェクト画像取得手段により逐次取得された前記オブジェクト画像のデータの履歴に基づいて、前記オブジェクトの移動方向を算出する移動方向算出手段をさらに備え、
前記画像変換手段は、前記姿勢変化算出手段の算出結果に加えてさらに前記移動方向算出手段の算出結果基づいて、前記オブジェクト画像のデータを、前記視点変換画像のデータに変換する
ことを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記オブジェクトは加速度センサ又は重力センサをさらに搭載し、
前記加速度センサ又は前記重力センサにより取得された情報を前記撮像画像のデータに付加して送信し、
前記オブジェクト画像取得手段は、前記撮像画像のデータに付加された前記情報をさらに取得し、
前記オブジェクト画像加工手段は、前記視点変換画像の生成の際に、前記オブジェクト画像取得手段により取得された前記情報を利用する、
ことを特徴とする請求項１乃至７のうち何れか１項に記載の画像処理装置。
【請求項９】
前記オブジェクトは複数であり、
複数の前記オブジェクトの中で、前記オブジェクト画像取得手段による前記オブジェクト画像のデータの取得の対象となるオブジェクトを変更するオブジェクト変更手段をさらに備える、
ことを特徴とする請求項１乃至８のうち何れか１項に記載の画像処理装置。
【請求項１０】
前記仮想視点の配置候補となる前記オブジェクト又は前記物体は複数であり、
前記複数の配置候補の中で、前記仮想視点の配置先を変更する視点変更手段をさらに備える、
ことを特徴とする請求項１乃至９のうち何れか１項に記載の画像処理装置。
【請求項１１】
前記仮想視点は、移動速度が０の前記物体に配置されたものである、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項１２】
前記仮想視点は、移動速度が０の相互に離間した複数の物体に配置され、
前記オブジェクト画像加工手段は、前記仮想視点が前記複数の物体の各々に移動した場合の前記視点変換画像のデータを生成する、
ことを特徴とする請求項１１に記載の画像処理装置。
【請求項１３】
前記仮想視点は、前記物体として移動物体に配置されたものである、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項１４】
画像を表示する表示手段をさらに備え、
前記出力制御手段は、前記視点変換画像を前記表示手段に表示する制御を実行する、
ことを特徴とする請求項１乃至１３の何れか１項に記載の画像処理装置。
【請求項１５】
表示機能を備えた外部端末と通信する通信手段をさらに備え、
前記出力制御手段は、前記視点変換画像のデータを、前記通信手段から前記外部端末に送信する制御を実行する、
ことを特徴とする請求項１乃至１４の何れか１項に記載の画像処理装置。
【請求項１６】
前記通信手段を介して前記外部端末からの制御信号を受信する制御信号受信手段をさらに備え、
前記オブジェクト画像加工手段は、前記制御信号受信手段に受信された前記制御信号に応じた画像変換を行うことで、前記視点変換画像のデータを生成する、
ことを特徴とする請求項１５に記載の画像処理装置。
【請求項１７】
前記オブジェクトから送信される撮像画像のデータは動画像データであって、
前記オブジェクト画像取得手段は、前記オブジェクトから送信される前記動画像データを、前記オブジェクト画像のデータとして取得し、
前記オブジェクト画像加工手段は、前記オブジェクト画像取得手段により取得された前記動画像データを加工することで、前記視点変換画像のデータを動画像データとして生成し、
前記出力制御手段は、前記オブジェクト画像加工手段により動画像データとして生成された前記視点変換画像のデータを出力する制御を実行する、
ことを特徴とする請求項１乃至１６の何れか１項に記載の画像処理装置。
【請求項１８】
視点変換画像のデータを出力する制御を実行する画像処理装置が実行する画像処理方法であって、
光軸方向を視点とする撮像画像を撮像する撮像部及び前記撮像画像のデータを送信する送信部を備えたオブジェクトであって、姿勢変化をしながら移動し得る前記オブジェクトから逐次送信される前記撮像画像のデータを、オブジェクト画像のデータとして逐次取得するオブジェクト画像取得ステップと、
前記オブジェクト画像取得ステップにより逐次取得された前記オブジェクト画像のデータを加工することで、前記オブジェクト又はそれ以外の物体（実物体若しくは仮想物体）に配置された仮想視点が所定の移動方向に移動しながら所定の眺望方向を眺めた様子を表わす画像のデータを、視点変換画像のデータとして生成するオブジェクト画像加工ステップと、
前記オブジェクト画像加工ステップにより生成された前記視点変換画像のデータを出力する制御を実行する出力制御ステップと、
を含む画像処理方法。
【請求項１９】
視点変換画像のデータを出力する制御を実行する画像処理装置を制御するコンピュータに、
光軸方向を視点とする撮像画像を撮像する撮像部及び前記撮像画像のデータを送信する送信部を備えたオブジェクトであって、姿勢変化をしながら移動し得る前記オブジェクトから逐次送信される前記撮像画像のデータを、オブジェクト画像のデータとして逐次取得するオブジェクト画像取得機能、
前記オブジェクト画像取得機能、により逐次取得された前記オブジェクト画像のデータを加工することで、前記オブジェクト又はそれ以外の物体（実物体若しくは仮想物体）に配置された仮想視点が所定の移動方向に移動しながら所定の眺望方向を眺めた様子を表わす画像のデータを、視点変換画像のデータとして生成するオブジェクト画像加工機能、
前記オブジェクト画像加工機能、により生成された前記視点変換画像のデータを出力する制御を実行する出力制御機能、
を含む機能を実現させるプログラム。
【請求項１】
光軸方向を視点とする撮像画像を撮像する撮像部及び前記撮像画像のデータを送信する送信部を備えたオブジェクトであって、姿勢変化をしながら移動し得る前記オブジェクトから逐次送信される前記撮像画像のデータを、オブジェクト画像のデータとして逐次取得するオブジェクト画像取得手段と、
前記オブジェクト画像取得手段により逐次取得された前記オブジェクト画像のデータを加工することで、前記オブジェクト又はそれ以外の物体（実物体若しくは仮想物体）に配置された仮想視点が所定の移動方向に移動しながら所定の眺望方向を眺めた様子を表わす画像のデータを、視点変換画像のデータとして生成するオブジェクト画像加工手段と、
前記オブジェクト画像加工手段により生成された前記視点変換画像のデータを出力する制御を実行する出力制御手段と、
を備えることを特徴とする画像処理装置。
【請求項２】
前記仮想視点は前記オブジェクトに配置されたものであり、前記仮想視点の前記所定の移動方向は前記オブジェクトの移動方向に基づく方向である、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
前記オブジェクト画像加工手段は、前記オブジェクト画像のデータを、前記姿勢変化を補正しつつ加工することで、前記視点変換画像のデータを生成する、
ことを特徴とする請求項２に記載の画像処理装置。
【請求項４】
前記オブジェクトはさらに回転を伴う移動をし得るものであり、
前記オブジェクト画像加工手段は、前記オブジェクト画像のデータのうち、光軸方向が前記オブジェクトの移動方向と略一致しているときに前記撮像部により撮像された撮像画像のデータを抽出し、抽出した前記撮像画像のデータを加工することで、前記視点変換画像のデータを生成する、
ことを特徴とする請求項２又は３に記載の画像処理装置。
【請求項５】
前記オブジェクト画像加工手段は、抽出した複数の前記撮像画像のデータの時間方向の合間に、補間又は創造した画像のデータを挿入する加工をさらにすることで、前記視点変換画像のデータを生成する、
ことを特徴とする請求項４に記載の画像処理装置。
【請求項６】
前記オブジェクト画像加工手段は、
前記オブジェクト画像取得手段により逐次取得された前記オブジェクト画像のデータの履歴に基づいて、前記オブジェクト画像の各々が前記撮像部に撮影された際の前記オブジェクトの姿勢の変化を算出する姿勢変化算出手段と、
前記姿勢変化算出手段の算出結果に基づいて、前記オブジェクト画像のデータを、前記視点変換画像のデータに変換する画像変換手段と、
を備えることを特徴とする請求項１乃至５の何れか１項に記載の画像処理装置。
【請求項７】
前記オブジェクト画像加工手段は、前記オブジェクト画像取得手段により逐次取得された前記オブジェクト画像のデータの履歴に基づいて、前記オブジェクトの移動方向を算出する移動方向算出手段をさらに備え、
前記画像変換手段は、前記姿勢変化算出手段の算出結果に加えてさらに前記移動方向算出手段の算出結果基づいて、前記オブジェクト画像のデータを、前記視点変換画像のデータに変換する
ことを特徴とする請求項６に記載の画像処理装置。
【請求項８】
前記オブジェクトは加速度センサ又は重力センサをさらに搭載し、
前記加速度センサ又は前記重力センサにより取得された情報を前記撮像画像のデータに付加して送信し、
前記オブジェクト画像取得手段は、前記撮像画像のデータに付加された前記情報をさらに取得し、
前記オブジェクト画像加工手段は、前記視点変換画像の生成の際に、前記オブジェクト画像取得手段により取得された前記情報を利用する、
ことを特徴とする請求項１乃至７のうち何れか１項に記載の画像処理装置。
【請求項９】
前記オブジェクトは複数であり、
複数の前記オブジェクトの中で、前記オブジェクト画像取得手段による前記オブジェクト画像のデータの取得の対象となるオブジェクトを変更するオブジェクト変更手段をさらに備える、
ことを特徴とする請求項１乃至８のうち何れか１項に記載の画像処理装置。
【請求項１０】
前記仮想視点の配置候補となる前記オブジェクト又は前記物体は複数であり、
前記複数の配置候補の中で、前記仮想視点の配置先を変更する視点変更手段をさらに備える、
ことを特徴とする請求項１乃至９のうち何れか１項に記載の画像処理装置。
【請求項１１】
前記仮想視点は、移動速度が０の前記物体に配置されたものである、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項１２】
前記仮想視点は、移動速度が０の相互に離間した複数の物体に配置され、
前記オブジェクト画像加工手段は、前記仮想視点が前記複数の物体の各々に移動した場合の前記視点変換画像のデータを生成する、
ことを特徴とする請求項１１に記載の画像処理装置。
【請求項１３】
前記仮想視点は、前記物体として移動物体に配置されたものである、
ことを特徴とする請求項１に記載の画像処理装置。
【請求項１４】
画像を表示する表示手段をさらに備え、
前記出力制御手段は、前記視点変換画像を前記表示手段に表示する制御を実行する、
ことを特徴とする請求項１乃至１３の何れか１項に記載の画像処理装置。
【請求項１５】
表示機能を備えた外部端末と通信する通信手段をさらに備え、
前記出力制御手段は、前記視点変換画像のデータを、前記通信手段から前記外部端末に送信する制御を実行する、
ことを特徴とする請求項１乃至１４の何れか１項に記載の画像処理装置。
【請求項１６】
前記通信手段を介して前記外部端末からの制御信号を受信する制御信号受信手段をさらに備え、
前記オブジェクト画像加工手段は、前記制御信号受信手段に受信された前記制御信号に応じた画像変換を行うことで、前記視点変換画像のデータを生成する、
ことを特徴とする請求項１５に記載の画像処理装置。
【請求項１７】
前記オブジェクトから送信される撮像画像のデータは動画像データであって、
前記オブジェクト画像取得手段は、前記オブジェクトから送信される前記動画像データを、前記オブジェクト画像のデータとして取得し、
前記オブジェクト画像加工手段は、前記オブジェクト画像取得手段により取得された前記動画像データを加工することで、前記視点変換画像のデータを動画像データとして生成し、
前記出力制御手段は、前記オブジェクト画像加工手段により動画像データとして生成された前記視点変換画像のデータを出力する制御を実行する、
ことを特徴とする請求項１乃至１６の何れか１項に記載の画像処理装置。
【請求項１８】
視点変換画像のデータを出力する制御を実行する画像処理装置が実行する画像処理方法であって、
光軸方向を視点とする撮像画像を撮像する撮像部及び前記撮像画像のデータを送信する送信部を備えたオブジェクトであって、姿勢変化をしながら移動し得る前記オブジェクトから逐次送信される前記撮像画像のデータを、オブジェクト画像のデータとして逐次取得するオブジェクト画像取得ステップと、
前記オブジェクト画像取得ステップにより逐次取得された前記オブジェクト画像のデータを加工することで、前記オブジェクト又はそれ以外の物体（実物体若しくは仮想物体）に配置された仮想視点が所定の移動方向に移動しながら所定の眺望方向を眺めた様子を表わす画像のデータを、視点変換画像のデータとして生成するオブジェクト画像加工ステップと、
前記オブジェクト画像加工ステップにより生成された前記視点変換画像のデータを出力する制御を実行する出力制御ステップと、
を含む画像処理方法。
【請求項１９】
視点変換画像のデータを出力する制御を実行する画像処理装置を制御するコンピュータに、
光軸方向を視点とする撮像画像を撮像する撮像部及び前記撮像画像のデータを送信する送信部を備えたオブジェクトであって、姿勢変化をしながら移動し得る前記オブジェクトから逐次送信される前記撮像画像のデータを、オブジェクト画像のデータとして逐次取得するオブジェクト画像取得機能、
前記オブジェクト画像取得機能、により逐次取得された前記オブジェクト画像のデータを加工することで、前記オブジェクト又はそれ以外の物体（実物体若しくは仮想物体）に配置された仮想視点が所定の移動方向に移動しながら所定の眺望方向を眺めた様子を表わす画像のデータを、視点変換画像のデータとして生成するオブジェクト画像加工機能、
前記オブジェクト画像加工機能、により生成された前記視点変換画像のデータを出力する制御を実行する出力制御機能、
を含む機能を実現させるプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１３−７８０３７（Ｐ２０１３−７８０３７Ａ）
【公開日】平成２５年４月２５日（２０１３．４．２５）
【国際特許分類】
【出願番号】特願２０１１−２１７５６１（Ｐ２０１１−２１７５６１）
【出願日】平成２３年９月３０日（２０１１．９．３０）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
【公開日】平成２５年４月２５日（２０１３．４．２５）
【国際特許分類】
【出願日】平成２３年９月３０日（２０１１．９．３０）
【出願人】（０００００１４４３）カシオ計算機株式会社 (8,748)
【Ｆターム（参考）】
[ Back to top ]