動画処理システム、動画処理方法およびプログラム
【課題】 ポリゴンの移動中においても動画が停止することなく、長時間再生にも適用でき、音も再生可能な動画処理システムを提供する。
【解決手段】 このシステムは、動画データを構成する複数の画像データを連続して順に取得するとともに音データを取得するデータ取得部１２と、各々に識別情報が割り当てられ、各々が移動可能にされた複数のポリゴンから構成される表示領域の各ポリゴンに表示させる各部分画像の部分画像データを、取得した画像データから各識別情報と対応付けて生成する部分画像データ生成部１４と、各ポリゴンの位置を座標データとして計算する座標計算部１５と、得られた各座標データと各識別情報と各部分画像データとを使用して、各ポリゴン上に各部分画像を連続して順に貼り付けて表示させるとともに、音データを再生する再生部１６とを含む。
【解決手段】 このシステムは、動画データを構成する複数の画像データを連続して順に取得するとともに音データを取得するデータ取得部１２と、各々に識別情報が割り当てられ、各々が移動可能にされた複数のポリゴンから構成される表示領域の各ポリゴンに表示させる各部分画像の部分画像データを、取得した画像データから各識別情報と対応付けて生成する部分画像データ生成部１４と、各ポリゴンの位置を座標データとして計算する座標計算部１５と、得られた各座標データと各識別情報と各部分画像データとを使用して、各ポリゴン上に各部分画像を連続して順に貼り付けて表示させるとともに、音データを再生する再生部１６とを含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、配信される動画を動画ジグソーパズルとして提供する動画処理システム、その方法およびその方法を実現するためのコンピュータ可読なプログラムに関する。
【背景技術】
【０００２】
デジタル音楽ファイルを再生可能なデジタルオーディオプレイヤや、音楽再生機能に加えて、デジタル写真の閲覧や動画ファイルの再生を可能にしたデジタルメディアプレイヤが普及してきている。これらのプレイヤは、携帯電話会社の音楽配信サービスやインターネット上の音楽販売サイト等から購入したり、CD等から音楽ファイル等を直接取り込み、再生するために用いられる。
【０００３】
近年、携帯可能なオーディオプレイヤとして携帯電話でも音楽再生機能や動画再生機能を有するものが増えてきており、音楽ファイル等のダウンロード市場では、PCより携帯電話を利用したダウンロード数のほうが多くなってきている。
【０００４】
CD等の記録媒体からPCを使用して直接取り込む場合、PCにおいてファイルに変換するリッピングと呼ばれる作業を行い、この作業により作成されたファイルを書き込むことにより利用可能とされる。一方、ダウンロード市場では、音楽ファイル等のファイルを販売することから、リッピングが不要で、ダウンロードしたファイルをそのまま書き込み、利用することができる。このように取り扱いが簡単であることから、ダウンロード販売数は増加してきている。
【０００５】
しかしながら、ファイルをダウンロードし、プレイヤが備える記録媒体に書き込み、それを利用するという利用形態の場合、特に、ファイルサイズが大きい動画ファイルを書き込むのに時間がかかり、記録媒体も大容量のものが必要となる。
【０００６】
そこで、ファイルをダウンロードするのと同時に再生するストリーミング配信というサービスが提供されている。このストリーミング配信では、ファイルを書き込むことはないので、メモリサイズが小さい機器であってもサービスを受けることができ、また、安価でサービスを受けることができる。
【０００７】
動画配信事業では、ユーザが望む動画を配信することで、長時間の視聴を実現し、収益を上げることができるものの、それ以外の動画、例えば、他の動画の広告等については、スキップしたりして視聴してもらえないことから、他の動画への興味を生じさせることができず、収益の向上を図るには問題があった。
【０００８】
そこで、広告等の画像を単に配信するだけではなく、その画像を電子ジグソーパズルにして、広告等の内容をユーザに対し深く印象付けたり、また、映像ファイルのダウンロード待ち時間の間等、ユーザを退屈させないようにする技術が提案されている（例えば、特許文献１および２参照）。
【０００９】
特許文献１に記載の装置は、動画像から時間差をもって切り出された静止画形態の画像片と、それらの画像片部分を取り除いた動画像とをディスプレイに表示して、その表示に応答して、ユーザから画像片とその組み立て先位置とを指定して画像片の組み立て要求が発行される場合に、その組み立て先位置の画像部分が現時点の動画像部分となるようにと動画像の表示形態を変更するように処理する。
【００１０】
時間差をもって静止画形態の画像片が切り出されているため、仮に隣接する２つの電子ピースを単に見比べても、電子ピース上に描かれた画像が不連続となるため、容易に正しい配置位置が類推できず、同時に配信されてくる分割前の完成動画像を見て、必要に応じて静止やコマ送りして、電子ピースの画像が一致する場所を探すようにされている。
【００１１】
このようにして、ユーザが自らの手で組み立てていくことにより、ユーザの配信動画像への集中および電子ピースの入手意欲を促進し、通信料、コンテンツ配信料およびパズル参加料等の形で収益の向上を図ることができる。
【００１２】
また、特許文献２に記載のシステムは、ダウンロード待ち時間に、ネットワーク端末の表示装置に所定の画像等を表示する表示手段と、元となるイメージ画像をジグソーパズルの各ピースのイメージ画像に分割する工程を実現する手段と、分割された各ピースのイメージ画像のそれぞれをランダムに蓄積した状態で表示する工程を実現する手段と、ランダム蓄積された各ピースを操作者の操作により各ピースを組み立ててジグソーパズルを完成させるための、ジグソーパズル完成領域に移動させることを許容する工程を実現する手段と、移動したピースがイメージ画像における正規の位置である場合にそのピースのイメージ画像をジグソーパズル完成領域の正規位置に表示する工程を実現する手段とを備えている。
【００１３】
このシステムでは、任意のイメージ画像をジグソーパズルの素材とすることができ、電子的な処理でジグソーパズルの完成を図ることができるため、安価で容易に行うことができ、退屈感を解消し、広告宣伝効果を高めることができる。なお、このシステムでは、イメージ画像が動画であってもよく、音声を含めることができるとされている。
【００１４】
デジタルメディアプレイヤの中には、ゲームを楽しむことができる機種も存在し、このような機種では、上記のようなジグソーパズルを実現することができる。
【００１５】
特許文献１および２に記載の技術では、動画ジグソーパズルを扱うことができるが、その他に、特許文献３に記載の技術も存在する。
【００１６】
特許文献３に記載の遊技装置は、種々の画像データ源から動画画像データを取得し、乱数を発生させ、その乱数に従ってパズル片の位置や角度を設定して表示画面上に散在させ、ジグソーパズルが完成した状態のパズル片に当てはめてパズル画像を形成し、各パズル片に表示させる部分画像を形成し、組み合わせてパズル片毎の表示画像データを形成し、それを表示装置に表示する。パズル片の位置や角度が変わるたびにパズル片位置を更新することで、パズル片上に動画画像を移動に追従させて表示することができるようにされている。なお、この装置は、所定時間幅内で連続する動画画像を表示するものとされている。
【先行技術文献】
【特許文献】
【００１７】
【特許文献１】特開２００４−２０９１１０号公報
【特許文献２】特開２００２−１９７３４３号公報
【特許文献３】特開２００７−０４４３７３号公報
【発明の概要】
【発明が解決しようとする課題】
【００１８】
上記特許文献３に記載の技術では、動画ジグソーパズルを提供することはできるものの、所定時間内で連続する動画画像について、その時間幅内の各所定時刻における複数の画像を複数のパズル片に表示するもので、プロモーションビデオや映画といった再生時間が比較的長い動画に適用することができない。
【００１９】
また、パズル片の位置を定め、その位置を求めた後に、画像データを読み出し、位置データと合わせて表示画像データを形成し、それを表示するため、パズル片の移動中に画像を表示したり、その画像が変化することはない。
【００２０】
動画データは、音楽データや音声データも含まれており、動画が停止している間は、音楽や音声も停止するので、ジグソーパズルとしてパズル片を移動する度に音楽が停止するのでは、特に、音楽プロモーションビデオには適用できない。
【課題を解決するための手段】
【００２１】
本発明は、上記課題に鑑み、パズル片の移動中においても動画が停止せず、また、長時間再生にも適用できるような動画処理システムを提供する。このシステムは、このことを実現するために、動画データを構成する複数の画像データを連続して順に取得するとともに音データを取得するデータ取得部と、各々に識別情報が割り当てられ、各々が移動可能にされた複数のポリゴンから構成される表示領域の各前記ポリゴンに表示させる各部分画像の部分画像データを、取得した前記画像データから各前記識別情報と対応付けて生成する部分画像データ生成部と、前記各ポリゴンの位置を座標データとして計算する座標計算部と、得られた各前記座標データと前記各識別情報と前記各部分画像データとを使用して、前記各ポリゴン上に前記各部分画像を連続して順に貼り付けて表示させるとともに、前記音データを再生する再生部とを含む構成とされる。
【００２２】
この動画処理システムは、前記ポリゴンの少なくとも１つを移動または回転させる入力を受け付ける入力部をさらに含む。入力部は、タッチパネル、加速度センサとすることができ、マイクセンサも利用することができる。
【００２３】
また、前記ポリゴンの少なくとも１つの移動を検知する移動検知部と、前記ポリゴンの一辺と他のポリゴンの一辺との距離が指定された距離以下である場合、パズル完成時のポリゴンの配置から、当該ポリゴンが当該他のポリゴンに隣り合うポリゴンとして正しいかを判定する判定部と、正しいと判定された場合、前記ポリゴン同士を結合させるポリゴン結合部とをさらに含むことができる。これにより、すべてが結合された場合に完成となり、ジグソーパズルが完成したことを認識することができる。
【００２４】
前記データ取得部は、２つの前記動画データを構成する複数の画像データを取得し、前記再生部は、前記ポリゴンの表面と裏面の両方に各前記動画データにつき得られた部分画像を貼り付け、前記ポリゴンを回転させ、当該ポリゴンの当該表面から当該裏面へ表示を切り替える指示を受けたことに応答して、一方の動画データにつき得られた部分画像から他方の動画データにつき得られた部分画像に表示を切り替えることができる。これにより、片面だけでなく、もう一方の面を利用してジグソーパズルを楽しむことができ、ジグソーパズルを完成させれば、２つの動画を見ることができる。
【００２５】
また、ポリゴンは、矩形のほか、ジグソーパズルで一般に採用される凹凸を有する形状等いかなる形状であってもよい。
【００２６】
表示領域は、拡大および縮小することができ、それに応じて、ポリゴンおよび貼り付ける部分画像も、拡大および縮小することができる。
【００２７】
前記画像データは、圧縮されたデータであり、前記圧縮されたデータを復元するデコード部をさらに含むことができる。また、前記複数の画像データおよび前記音データをダウンロードして記憶するためのデータ記憶部をさらに含み、前記データ取得部は、前記データ記憶部から前記動画データを構成する前記複数の画像データを連続して順に読み出すとともに、前記音データを読み出し取得することができる。
【００２８】
本発明では、上記の動画処理システムに加えて、当該動画処理システムが備える各部が実行する処理を処理ステップとして含む動画処理方法およびその方法を実行するためのコンピュータ可読なプログラムを提供することもできる。
【００２９】
上記プログラムは、ダウンロードにより提供することができ、また、CD、SDカードといった記録媒体に格納して提供することができる。
【図面の簡単な説明】
【００３０】
【図１】本発明の動画処理システムの一実施形態としての携帯電話機を含むネットワーク環境を示した図。
【図２】動画処理システムの機能ブロック図。
【図３】動画処理システムで行われる処理の流れを示したフローチャート図。
【図４】動画データ、部分画像データ、識別情報を例示した図。
【図５】対応表を例示した図。
【図６】部分画像の別の実施形態およびそれをポリゴンに貼り付けるところを示した図。
【図７】ポリゴン同士を結合させる処理の流れを示したフローチャート図。
【図８】ポリゴンが結合可能な位置にあるところを示した図。
【図９】結合されるポリゴンと結合されないポリゴンとを例示した図。
【図１０】結合されたポリゴンを例示した図。
【図１１】動画ジグソーパスルを実行しているときの表示を例示した図。
【発明を実施するための形態】
【００３１】
図１は、本発明の映像処理システムの一実施形態としての携帯電話機を含むネットワーク環境を示した図である。この環境では、携帯電話機１０と、ネットワーク２０に接続され、動画データを格納するサーバ３０と、ネットワーク２０に接続され、また、携帯電話機１０と無線通信し、電話網に接続する基地局４０とから構成されている。ネットワーク２０は、インターネット等であり、サーバ３０は、携帯電話機１０等からのネットワーク２０を介した要求を受け取り、その要求を処理する装置である。
【００３２】
サーバ３０は、１つに限られるものではなく、複数存在していてもよく、音楽や音楽プロモーションビデオを配信するサーバ、映画を配信するサーバ、ゲームを配信するサーバ等を含むことができる。これらの処理を実行するために、サーバ３０は、これらの動画データを記憶するためのHDD等の記憶装置、要求を処理するためのプロセッサ、ネットワーク２０との間で通信を行うための通信デバイスを備える。その他、必要に応じて、ディスプレイといった表示装置、マイクやキーボードやマウスといった入力装置、スピーカー等の出力装置を備えることができる。なお、サーバ３０との通信は、例えば、TCP/IPといったプロトコルを使用して行うことができる。
【００３３】
プロトコルの異なるネットワークと接続し、そのネットワークに接続されるサーバ等と通信する場合、ネットワーク間を接続するためのネットワークノードとしてゲートウェイを備えることができる。このゲートウェイは、一般に、異なるプロトコル間の通信を可能にするための調整を行うプロトコルトランスレータ、送信側回路の出力インピーダンスと受信側回路の入力インピーダンスとを合わせるインピーダンス整合器、通信速度を調整する通信レートコンバータ、障害を防止するための障害アイソレータ、システムの互換性を保つためのシグナル変換器等を備える。
【００３４】
携帯電話機１０は、基地局４０との間で無線通信を行い、サーバ３０から動画配信を受け付ける。なお、携帯電話機１０は、電話網を介して他の携帯電話機や固定電話機へ接続し、通話を可能にするとともに、動画配信を受け付けるほか、Webページの閲覧や電子メールの送受信等を行うことができるものである。また、携帯電話機１０は、音楽再生機能、動画再生機能を有し、配信を受け付けた音楽や動画を再生することができる。
【００３５】
この携帯電話機１０は、無線通信するためのアンテナと、通話を可能にするためのスピーカーおよびマイクと、これらを制御するための電子回路と、電話番号等を入力するための入力ボタンと、電源と、電話番号等を表示するための表示装置と、電話番号等のデータを記憶するための記憶装置とを含んで構成されている。
【００３６】
電子回路は、通信処理を行うLSIのほか、音楽や動画データを処理するCPUを備える。また、記憶装置は、内蔵の不揮発記憶装置および補助記憶装置のほか、スロットを備えて着脱可能にしたメモリカードを含むことができる。記憶装置は、OS、APIやアプリケーションを記憶することができるものであればいかなるものであってもよい。OSは、アプリケーションをプロセスとして動作させ、そのプロセスを管理し、メモリの利用可能な部分への割り当ておよび解放を行うメモリ管理を行い、階層構造でファイルを管理するファイルシステムを有する。APIは、OSとアプリケーションとの間のプログラミングのためのインタフェースで、プログラムを作成する際の規則を構成するものである。アプリケーションは、音楽の再生や動画の再生、動画ジグソーパズルを提供する。したがって、CPUは、これらのソフトウェアの実行により、音楽や動画の再生を実現したり、後述する動画処理を実現することができる。
【００３７】
また、携帯電話機１０は、カメラといった撮像装置を搭載することができ、加速度を測定する加速度センサや音を感知するマイクセンサを備えることができる。携帯電話機１０は、入力ボタンに代えて、タッチパネルを採用することができる。タッチパネルは、スタイラスや指で圧力を加える等して、接触した画面位置の情報を感知し、その情報を信号として電子回路へ出力する。タッチパネルとしては、フィルムにタッチして圧力をかけ、フィルムがその下のガラス面の電極と接触し、発生した電圧を測定することにより、接触した位置を検出する抵抗膜方式のほか、指でパネル表面に触れたときに生じるわずかな電荷の変化をとらえ、その位置を検出する静電容量方式を採用することもできる。また、ここでは、携帯電話１０と基地局４０との間で無線通信を行う構成とされているが、携帯電話１０は、アクセスポイントを利用してネットワーク２０へ接続することができ、無線LANにより無線通信を行う構成とすることも可能である。
【００３８】
図２は、携帯電話機１０の機能ブロック図である。この携帯電話機１０は、動画データをサーバ３０から受信して処理することができる装置である。この動画データの処理は、この携帯電話機１０を所有するユーザに、動画ジグソーパズルを提供し、ジグソーパズルとして遊ぶことを可能にするとともに、お気に入りの動画も楽しむことができるものである。こういった機能を実現するために、図２に示すような各部を備える構成とされている。
【００３９】
携帯電話機１０は、サーバ３０からダウンロードした動画データを記憶するデータ記憶部１１、データ記憶部１１から動画データを構成する複数の画像データを連続して順に取得するとともに音データを取得するデータ取得部１２、圧縮された画像データを復元するデコード部１３、識別情報が割り当てられた各ポリゴンに表示させる部分画像の部分画像データを、復元された画像データから生成する部分画像データ生成部１４と、各ポリゴンの位置を座標データとして計算する座標計算部１５と、各ポリゴン上に各部分画像を連続して順に貼り付けて表示させるとともに、音データを再生する再生部１６と、ポリゴンの少なくとも１つを移動または回転させる入力を受け付ける入力部１７とを含んで構成される。
【００４０】
ユーザが、サーバ３０から所望の動画を選択してダウンロードすると、データ記憶部１１にその動画データが記憶される。ユーザは、そのデータ記憶部１１に記憶された動画データの１つを選択することにより、その動画データを指定することができる。
【００４１】
動画データは、連続して並ぶ複数の画像データから構成されており、データ取得部１２は、指定された動画データを構成するこれらの画像データを連続して順に受け取り、デコード部１３へ送る。デコード部１３は、MP4等に圧縮された動画データを復元する。このように、動画データは、一括ダウンロードしてデータ記憶部１１に記憶し、そこから取得することもできるが、ストリーミング配信されるものを直接取得することも可能である。また、データ記憶部１１は、デコード部１３から出力されたデータを記憶するようにされていてもよいし、後述する部分画像データを識別情報とともに記憶することも可能である。なお、画像データの順番を識別するために、ポリゴンの識別とは別の識別情報を、部分画像データに割り当てることができる。
【００４２】
部分画像データ生成部１４は、復元された動画データを受け取り、画像データから各ポリゴンに対応した部分画像データを生成する。ポリゴンは、識別情報が割り当てられ、ユーザによって移動可能にされ、複数のポリゴンが組み合わされることにより表示領域が構成されるようになっている。このポリゴンは、立体物を表示するために使用される三角形や四角形等の板状物であり、この表面上に画像が貼られることによりその画像を表示することができる。
【００４３】
このポリゴンに貼る部分画像データを識別するために、ポリゴンを識別するための識別情報が対応付けられる。識別情報は、識別することができれば、いかなる文字、記号、数字であってもよい。再生部１６は、座標計算部１５により計算された座標データと識別情報とから、対応するポリゴンの位置を特定し、部分画像データを使用して部分画像を描画し、そのポリゴン上にその部分画像を貼り付けて表示させる。
【００４４】
画像データは、連続して順に取得されるため、部分画像データ生成部１４は、画像データを受け取る度に、その画像データについて部分画像データを生成し、座標計算部１５は、それら部分画像データを表示させるために、座標データを計算し、再生部１６が、これらのデータを基に貼り付け、表示させることを繰り返す。なお、新しい部分画像が貼り付けられた場合、その下側に隠れた部分画像は消去することができる。
【００４５】
このように、次から次へと新しい部分画像が貼り付けられることにより、とぎれとぎれに動画が再生されるのではなく、なめらかに動画を再生することができ、動画データに含まれる音声や音楽データの再生も動画に対応したものとなる。これは、移動中のある時点における座標データを計算して即座に部分画像が貼り付けられるためである。
【００４６】
図３を参照して、この携帯電話機１０が行う処理について詳細に説明する。図３は、携帯電話機１０が行う処理の流れを示したフローチャート図である。この処理は、ステップ３００から開始し、まず、ステップ３０５で、サーバ３０からダウンロードしてデータ記憶部１１に記憶しておいた動画データの中からユーザが指定した動画データを読み出し、その動画データを構成する複数の画像データを連続して順に取得するとともに音データを取得する。音データは、上記の音声や音楽データである。
【００４７】
次に、ステップ３１０で、動画データは圧縮されたデータであるため、デコードし、データを復元する。復元後、ステップ３１５で、表示領域を複数に分割してできた複数のポリゴンの各々に表示させるための部分画像データを生成する。部分画像データは、表示領域に対応する画像をポリゴンと同様に分割してできた部分画像を表示するためのデータで、画像データから生成することができる。生成された各部分画像データは、対応するポリゴンに貼り付けるためにポリゴンに割り当てられた識別情報が対応付けられる。各ポリゴンの形状およびポリゴン数は、１つの矩形の表示領域をユーザが予め設定した、あるいはデフォルトの形状および分割数で切り出すことにより定められる。
【００４８】
図４（ａ）に示すように、動画データは、時刻t=0からt=1,2,3…の順に複数の画像データが連続して順に並んで構成されるものであり、その画像データを１つずつ順に取得し、図４（ｂ）に示すような各ポリゴンの形状に合わせて、画像データから生成される画像を切り出すことにより、時刻t=0のときは、図４（ｃ）に示すような部分画像データを生成する。なお、切り出された部分画像は、ポリゴンの大きさに合うように、必要に応じて拡大または縮小することができ、ポリゴンの大きさに合ったものを部分画像データとして生成することができる。
【００４９】
この部分画像データは、図４（ｂ）に示すようにポリゴンに割り当てられた識別情報とともに、図５に示す対応表として記憶し、表示タイミングになったときに各ポリゴンに貼り付けて表示させることができる。なお、部分画像データは、部分画像データを識別するための部分画像番号とすることができ、ポリゴンの識別情報であるポリゴン番号と対応付けて対応表としてデータ記憶部に記憶しておくことができる。ここでは番号としたが、文字や記号であってもよい。
【００５０】
表示タイミングは、動画を構成する複数の画像を表示するタイミングで、例えば、１秒間に表示する画像数であるフレームレートから決定することができる。なお、対応表は、表示させた後は消去され、次の画像データの対応表を作成することができる。このため、この対応表を記憶するためのデータ記憶部は少ない記憶容量とすることが可能である。
【００５１】
再び図３を参照して、ステップ３２０において、各ポリゴンの位置を座標データとして計算する。動画ジグソーパズルの実行を開始したとき、各ポリゴンは、適当な位置に散在する。これは、初期設定で各ポリゴンの位置やその向き等を設定しておくことにより実現することができる。なお、適当な位置に散在させるために、乱数を発生させ、その乱数に従って位置や向きを設定することが可能である。
【００５２】
各ポリゴンの位置は、ポリゴンが矩形である場合、表示画面の左下頂点の画素を座標(0,0)にする等して、ポリゴンの４つの頂点座標を計算することにより求めることができる。ポリゴンの辺を構成する画素数が予め分かっている場合は、少なくとも１つの頂点座標を計算することにより求めることができる。
【００５３】
ポリゴンは、その向きを変化させることも可能で、その向きも求められる。向きは、ジグソーパズルが完成したときのそのポリゴンの向きを基準とし、その基準からどの程度回転しているかにより求めることができる。左向きに倒れている場合は、90°回転しており、上下逆さまになっている場合は180°回転している。向きは、初期設定から変化していない場合は、初期設定の値を、ユーザが変化させた場合は、その変化を逐次記憶して向きのデータを更新し、その記憶されたデータから求めることができる。
【００５４】
次に、ステップ３２５で、計算された各座標データと、各識別情報と、各部分画像データとを使用して、各ポリゴン上に各部分画像を貼り付け表示させる。まず、計算された座標データ、向き、識別情報から、対応するポリゴンの位置およびその向きを特定し、次に、部分画像データを使用して部分画像を描画し、最後に、そのポリゴン上にその部分画像を貼り付けて表示させることにより、実現することができる。このとき、その表示に合わせて音データも再生する。
【００５５】
そして、ステップ３３０で、その画像データが最後かを判定する。この判定は、別途設けられる判定部により実現することができる。最後でない場合は、ステップ３１０へ戻り、次の画像データをデコードし、部分画像データを生成する。最後である場合は、ステップ３３５へ進み、動画データを再度取得するかを判定する。例えば、ジグソーパズルが完成するまで動画を再生し続けるという設定になっていて、ステップ３３５の時点で、まだ完成していない場合は、ステップ３０５へ戻り、再度、動画データを取得する。一方、完成している場合は、動画データを取得することなく、ステップ３４０へ進み、この処理を終了する。
【００５６】
ここでは動画データを再度取得する構成について説明したが、別の動画データを取得するように設定されていてもよく、この場合、別の動画データを取得し、同様に貼り付け表示させることも可能である。
【００５７】
また、部分画像の切り出しは、ポリゴンに合わせて矩形とすることに限られるものではなく、図６に示すような２つの三角形に切り出し、それらを矩形のポリゴンに貼り付けることも可能である。この場合、識別番号１のポリゴンに、「1.1」と「1.2」という領域を設け、それらを切り出した各部分画像に対応付けることにより、貼り付けるべき部分画像データを識別することができるようにすることができる。
【００５８】
各ポリゴンは、上記のように識別番号といった識別情報が割り当てられているため、あるポリゴンに対し、ユーザが隣に移動させたポリゴンを識別することができる。したがって、どのポリゴンの隣にどのポリゴンが配置された場合に正解であるかを、動画ジグソーパズルの完成時におけるポリゴンの各配置から容易に判断することができる。本発明では、隣り合うポリゴンが正解した場合に、それらポリゴン同士を結合させることができる。この処理を、図７に示すフローチャートを参照して説明する。
【００５９】
ステップ７００からこの処理を開始し、ステップ７０５で、ユーザがポリゴンの少なくとも１つを選択し、移動していることを検知する。この検知は、別途設けられる移動検知部により実現することができる。
【００６０】
次に、ステップ７１０において、そのポリゴンの一辺と他のポリゴンの一辺との距離が指定された距離以下であるかを判定する。ポリゴンはユーザが移動させるため、正確に合わせることはできない。そこで、マージンをとり、その距離以下であれば、隣り合わせにされたものと判断する。例えば、図８に示すように、ポリゴンが矩形である場合、ポリゴンを矢線で示す方向に移動させ、破線で示された領域内にそのポリゴンの一辺が配置された場合に、その距離以下となり、隣り合う位置に配置されたと判定することができる。なお、図８では、一方のポリゴンの外側から他方のポリゴンを接近させるように移動しているところを示しているが、一方のポリゴン上を、他方のポリゴンを移動させ、破線で示された領域内に当該他方のポリゴンの一辺が配置された場合に、隣り合う位置に配置されたと判定することもできる。
【００６１】
隣り合う位置に配置されていない場合は、ステップ７０５へ戻り、再び同じポリゴンの移動を検知するか、または別のポリゴンの移動を検知する。一方、配置された場合は、ステップ７１５へ進み、完成時のポリゴンの配置から、そのポリゴンが上記他のポリゴンに隣り合うポリゴンとして正しいかを判定する。すなわち、正解であるかを判断する。図４（ｂ）に示すように表示領域が８つの矩形のポリゴンに切り分けられ、各ポリゴンに１、２、…、８という識別情報が割り当てられた場合、図９（ａ）に示すように識別情報１のポリゴンの右隣に識別情報２の部分画像が貼り付けられたポリゴンが配置されれば、丸で示される正解となり、図９（ｂ）に示すように識別情報１のポリゴンの下に識別情報５の部分画像が貼り付けられたポリゴンが配置されれば、丸で示される正解となり、図９（ｃ）に示すように識別情報１の左隣に識別情報３の部分画像が貼り付けられたポリゴンが配置された場合のように、完成時のポリゴンの配置、具体的には図４（ｂ）に示す配置とは異なる場合はバツで示される不正解となる。これらの判定はいずれも、上記の判定部が行うことができる。また、図９では、各ポリゴンの下側に数字が表示されているが、これらの数字はポリゴンを識別するために表示したものであり、実際には表示されないものである。以下の図１０および図１１も同様である。
【００６２】
再び図７を参照して、不正解の場合は、ポリゴン同士は結合せず、正解の場合は、ステップ７２０へ進み、ポリゴン同士を結合させる。ポリゴンの結合は、初期設定で設定されたポリゴンの形状および向き、その数というデータを変更し、それを更新することにより行うことができる。この結合処理は、別途設けられるポリゴン結合部により行うことができる。
【００６３】
データが更新されると、ステップ７２５で、ポリゴン結合部から部分画像データ生成部１４に指示し、部分画像データ生成部１４は、そのポリゴンに適合するように画像を切り出し、それに対応する部分画像データを生成する。すなわち、図１０に示すようなポリゴン1-2とされ、そのポリゴン1-2の形状およびサイズに適合して切り出された部分画像の部分画像データが生成され、貼り付けられ、それが表示される。このとき、結合されたポリゴンを識別するための識別情報としては、結合前のポリゴンの識別情報を使用して上記のような「1-2」のようにしたり、他の識別情報を割り当て、それを用いることもできる。指示した後、ステップ７３０へ進み、この処理を終了する。
【００６４】
なお、この処理は、図３に示す処理と同時に行われるため、図３のステップ３１５で、結合されたポリゴンを含む各サイズのポリゴンに表示させる部分画像データを生成し、ステップ３２０で、その結合されたポリゴンを含む各ポリゴンの位置を計算し、ステップ３２５で、各ポリゴンに部分画像を貼り付け表示させるという処理が行われる。したがって、このとき、結合されたポリゴンには、それ以前の２つの部分画像を結合した部分画像が貼り付けられ、表示される。
【００６５】
一度結合されると、結合されたポリゴンは、結合された状態で移動可能とされる。ユーザがポリゴンを移動させ、携帯電話機１０において上記の処理を繰り返すと、すべてのポリゴンが結合され、ジグソーパズルが完成となる。ジグソーパズルが完成すると、表示領域全体に動画が表示されることとなる。ここでの表示領域は、画面全体であってもよいし、予め指定された画面領域であってもよい。
【００６６】
ポリゴンの移動は、入力部１７により実現することができる。入力部１７が、タッチパネルのタッチセンサである場合、ユーザは、画面の所定位置にスタイラスあるいは指を押し当て、それを押し当てたままの状態でスライドさせることにより、ポリゴンの移動を実現することができる。加速度センサである場合は、携帯電話機１０自体を上下左右に移動させることにより、その方向へ移動させることができる。その移動距離は、加える力を制御することにより調整することができる。マイクセンサは、方向を判別することが困難であるため、ジグソーパズル開始時のポリゴンを散在させる際に、利用することができる。具体的には、各ポリゴンの分散方向を予め設定し、また、画面の縁に衝突した場合に、挿入角と同じ角度で反射するように設定しておき、マイクセンサに入力される音量に応じてポリゴンの移動距離を変化させることで、ポリゴンを散在させることができる。
【００６７】
図２に示したデータ取得部１２は、２つの動画データを構成する複数の画像データを取得することができ、再生部１６は、ポリゴンの一方の面である表面と他方の面である裏面の両方に、各動画データにつき得られた部分画像を貼り付け、ポリゴンを回転させ、そのポリゴンのその表面から裏面へ表示を切り替える指示を受けたことに応答して、一方の動画データにつき得られた部分画像から他方の動画データにつき得られた部分画像に表示を切り替えることも可能である。
【００６８】
再生部１６は、初期設定において、すべてのポリゴンの部分画像を貼り付ける面を表面とし、その情報を保持する。ユーザが、タッチパネル等を利用してポリゴンの１つを裏返すと、再生部１６は、対応する他方の部分画像を裏面に貼り付け表示させ、そのポリゴンが裏面であることを示す情報を記録する。表面であるか、裏面であるかの識別は、例えば、ビットが立っているか否かにより実現することができる。
【００６９】
これにより、片面だけでなく、もう一方の面を利用してジグソーパズルを楽しむことができ、ジグソーパズルを完成させれば、２つの動画を見ることができる。なお、ポリゴンは、上記のようにして２以上が結合されたポリゴンであってもよいものである。
【００７０】
ポリゴンは、表面と裏面とを有する板ポリゴンに限られるものではなく、立体であってもよい。例えば、六面体であれば、６つの動画データを取得し、各面に対応した部分画像を貼り付け表示させることで、６つの動画を視聴可能にすることができる。
【００７１】
また、回転させる途中、模様や質感を再現するためにテクスチャと呼ばれる画像をその部分画像に重ねて貼り付け、立体感を表現することも可能である。部分画像の中心部分を大きく表現し、端部を小さく表現するように加工することで、曲面に貼り付け、表示させることも可能である。
【００７２】
本発明の動画処理システムおよび動画処理方法を使用して、実際に、動画ジグソーパズルを実行し、画面に表示される動画パズルを図１１に例示する。動画ジグソーパズルの実行を開始すると、動画データを構成する画像データおよび音データを取得し、デコードし、部分画像データを生成し、ランダムに配置されたポリゴン上に貼り付け、表示させる。このときの表示が、図１１（ａ）に示すものとなる。
【００７３】
ユーザは、タッチパネル等の入力装置を使用して、部分画像が貼り付けられたポリゴンを移動させる。そのとき、t=1の時刻に達していれば、移動中においても次の部分画像が貼り付けられる。このときの表示が、図１１（ｂ）に示すものとなる。
【００７４】
そして、ユーザは、識別番号１のポリゴンに隣り合って識別番号２のポリゴンを配置すると、正解となり、それらのポリゴンは結合する。このとき、t=2の時刻であれば、時刻t=2における結合した部分画像を識別番号1-2の、それまでの２倍の面積を有するポリゴンに貼り付け、表示させる。この表示が、図１１（ｃ）に示すものとなる。
【００７５】
一度結合すると、結合したまま移動可能とされる。ユーザは、部分画像が重なり合い、見にくくなるのを防ぐため、部分画像が貼り付けられたポリゴンを移動させ、その後、さらに次のポリゴンを移動させ、動画ジグソーパズルを完成させていく。このときの表示が、図１１（ｄ）に示すものとなる。
【００７６】
このような操作を繰り返し、すべてのポリゴンが結合したところで、動画ジグソーパズルは完成となり、全画面で動画を視聴することが可能となる。なお、動画ジグソーパズルが完成したところで「完成」等の文字を表示させることも可能である。また、１つパズルが正解する度に、「○」や「正解」等を表示させることも可能である。
【００７７】
また、このような操作の途中、ポリゴンの１つを連続して２回タッチする等して、その裏面へ回転させることができ、別の動画を表示させることもできる。本発明では、１つのポリゴンのみを回転させるように構成することもできるし、１つのポリゴンの回転に伴い、すべてのポリゴンを同時に、または時間差を置いて回転させることも可能である。
【００７８】
回転後は、上記と同様にして、ポリゴンを結合させ、ジグソーパズルを完成させることができる。この場合の完成後の動画は、上記の別の動画となる。
【００７９】
これまで本発明を上述した実施形態をもって説明してきたが、本発明は上述した実施形態に限定されるものではなく、他の実施形態、追加、変更、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。したがって、本発明は、動画処理システム、動画処理方法のほか、その方法を実行するためのコンピュータ可読なプログラムとして構成することができ、また、そのプログラムを、サーバ等からのダウンロードにより、またはフレキシブルディスク、CD、DVD、SDカード、フラッシュメモリ等の記録媒体に記録して提供することもできるものである。
【００８０】
動画処理システムは、携帯電話機のほか、動画を再生することが可能なデジタルメディアプレイヤ、ゲーム機、PDA等とすることもできる。また、本発明のプログラムをインストールすれば、PCも、動画処理システムとして構成することが可能である。
【符号の説明】
【００８１】
１０…携帯電話機、１１…データ記憶部、１２…データ取得部、１３…デコード部、１４…部分画像データ生成部、１５…座標計算部、１６…再生部、１７…入力部、２０…ネットワーク、３０…サーバ、４０…基地局
【技術分野】
【０００１】
本発明は、配信される動画を動画ジグソーパズルとして提供する動画処理システム、その方法およびその方法を実現するためのコンピュータ可読なプログラムに関する。
【背景技術】
【０００２】
デジタル音楽ファイルを再生可能なデジタルオーディオプレイヤや、音楽再生機能に加えて、デジタル写真の閲覧や動画ファイルの再生を可能にしたデジタルメディアプレイヤが普及してきている。これらのプレイヤは、携帯電話会社の音楽配信サービスやインターネット上の音楽販売サイト等から購入したり、CD等から音楽ファイル等を直接取り込み、再生するために用いられる。
【０００３】
近年、携帯可能なオーディオプレイヤとして携帯電話でも音楽再生機能や動画再生機能を有するものが増えてきており、音楽ファイル等のダウンロード市場では、PCより携帯電話を利用したダウンロード数のほうが多くなってきている。
【０００４】
CD等の記録媒体からPCを使用して直接取り込む場合、PCにおいてファイルに変換するリッピングと呼ばれる作業を行い、この作業により作成されたファイルを書き込むことにより利用可能とされる。一方、ダウンロード市場では、音楽ファイル等のファイルを販売することから、リッピングが不要で、ダウンロードしたファイルをそのまま書き込み、利用することができる。このように取り扱いが簡単であることから、ダウンロード販売数は増加してきている。
【０００５】
しかしながら、ファイルをダウンロードし、プレイヤが備える記録媒体に書き込み、それを利用するという利用形態の場合、特に、ファイルサイズが大きい動画ファイルを書き込むのに時間がかかり、記録媒体も大容量のものが必要となる。
【０００６】
そこで、ファイルをダウンロードするのと同時に再生するストリーミング配信というサービスが提供されている。このストリーミング配信では、ファイルを書き込むことはないので、メモリサイズが小さい機器であってもサービスを受けることができ、また、安価でサービスを受けることができる。
【０００７】
動画配信事業では、ユーザが望む動画を配信することで、長時間の視聴を実現し、収益を上げることができるものの、それ以外の動画、例えば、他の動画の広告等については、スキップしたりして視聴してもらえないことから、他の動画への興味を生じさせることができず、収益の向上を図るには問題があった。
【０００８】
そこで、広告等の画像を単に配信するだけではなく、その画像を電子ジグソーパズルにして、広告等の内容をユーザに対し深く印象付けたり、また、映像ファイルのダウンロード待ち時間の間等、ユーザを退屈させないようにする技術が提案されている（例えば、特許文献１および２参照）。
【０００９】
特許文献１に記載の装置は、動画像から時間差をもって切り出された静止画形態の画像片と、それらの画像片部分を取り除いた動画像とをディスプレイに表示して、その表示に応答して、ユーザから画像片とその組み立て先位置とを指定して画像片の組み立て要求が発行される場合に、その組み立て先位置の画像部分が現時点の動画像部分となるようにと動画像の表示形態を変更するように処理する。
【００１０】
時間差をもって静止画形態の画像片が切り出されているため、仮に隣接する２つの電子ピースを単に見比べても、電子ピース上に描かれた画像が不連続となるため、容易に正しい配置位置が類推できず、同時に配信されてくる分割前の完成動画像を見て、必要に応じて静止やコマ送りして、電子ピースの画像が一致する場所を探すようにされている。
【００１１】
このようにして、ユーザが自らの手で組み立てていくことにより、ユーザの配信動画像への集中および電子ピースの入手意欲を促進し、通信料、コンテンツ配信料およびパズル参加料等の形で収益の向上を図ることができる。
【００１２】
また、特許文献２に記載のシステムは、ダウンロード待ち時間に、ネットワーク端末の表示装置に所定の画像等を表示する表示手段と、元となるイメージ画像をジグソーパズルの各ピースのイメージ画像に分割する工程を実現する手段と、分割された各ピースのイメージ画像のそれぞれをランダムに蓄積した状態で表示する工程を実現する手段と、ランダム蓄積された各ピースを操作者の操作により各ピースを組み立ててジグソーパズルを完成させるための、ジグソーパズル完成領域に移動させることを許容する工程を実現する手段と、移動したピースがイメージ画像における正規の位置である場合にそのピースのイメージ画像をジグソーパズル完成領域の正規位置に表示する工程を実現する手段とを備えている。
【００１３】
このシステムでは、任意のイメージ画像をジグソーパズルの素材とすることができ、電子的な処理でジグソーパズルの完成を図ることができるため、安価で容易に行うことができ、退屈感を解消し、広告宣伝効果を高めることができる。なお、このシステムでは、イメージ画像が動画であってもよく、音声を含めることができるとされている。
【００１４】
デジタルメディアプレイヤの中には、ゲームを楽しむことができる機種も存在し、このような機種では、上記のようなジグソーパズルを実現することができる。
【００１５】
特許文献１および２に記載の技術では、動画ジグソーパズルを扱うことができるが、その他に、特許文献３に記載の技術も存在する。
【００１６】
特許文献３に記載の遊技装置は、種々の画像データ源から動画画像データを取得し、乱数を発生させ、その乱数に従ってパズル片の位置や角度を設定して表示画面上に散在させ、ジグソーパズルが完成した状態のパズル片に当てはめてパズル画像を形成し、各パズル片に表示させる部分画像を形成し、組み合わせてパズル片毎の表示画像データを形成し、それを表示装置に表示する。パズル片の位置や角度が変わるたびにパズル片位置を更新することで、パズル片上に動画画像を移動に追従させて表示することができるようにされている。なお、この装置は、所定時間幅内で連続する動画画像を表示するものとされている。
【先行技術文献】
【特許文献】
【００１７】
【特許文献１】特開２００４−２０９１１０号公報
【特許文献２】特開２００２−１９７３４３号公報
【特許文献３】特開２００７−０４４３７３号公報
【発明の概要】
【発明が解決しようとする課題】
【００１８】
上記特許文献３に記載の技術では、動画ジグソーパズルを提供することはできるものの、所定時間内で連続する動画画像について、その時間幅内の各所定時刻における複数の画像を複数のパズル片に表示するもので、プロモーションビデオや映画といった再生時間が比較的長い動画に適用することができない。
【００１９】
また、パズル片の位置を定め、その位置を求めた後に、画像データを読み出し、位置データと合わせて表示画像データを形成し、それを表示するため、パズル片の移動中に画像を表示したり、その画像が変化することはない。
【００２０】
動画データは、音楽データや音声データも含まれており、動画が停止している間は、音楽や音声も停止するので、ジグソーパズルとしてパズル片を移動する度に音楽が停止するのでは、特に、音楽プロモーションビデオには適用できない。
【課題を解決するための手段】
【００２１】
本発明は、上記課題に鑑み、パズル片の移動中においても動画が停止せず、また、長時間再生にも適用できるような動画処理システムを提供する。このシステムは、このことを実現するために、動画データを構成する複数の画像データを連続して順に取得するとともに音データを取得するデータ取得部と、各々に識別情報が割り当てられ、各々が移動可能にされた複数のポリゴンから構成される表示領域の各前記ポリゴンに表示させる各部分画像の部分画像データを、取得した前記画像データから各前記識別情報と対応付けて生成する部分画像データ生成部と、前記各ポリゴンの位置を座標データとして計算する座標計算部と、得られた各前記座標データと前記各識別情報と前記各部分画像データとを使用して、前記各ポリゴン上に前記各部分画像を連続して順に貼り付けて表示させるとともに、前記音データを再生する再生部とを含む構成とされる。
【００２２】
この動画処理システムは、前記ポリゴンの少なくとも１つを移動または回転させる入力を受け付ける入力部をさらに含む。入力部は、タッチパネル、加速度センサとすることができ、マイクセンサも利用することができる。
【００２３】
また、前記ポリゴンの少なくとも１つの移動を検知する移動検知部と、前記ポリゴンの一辺と他のポリゴンの一辺との距離が指定された距離以下である場合、パズル完成時のポリゴンの配置から、当該ポリゴンが当該他のポリゴンに隣り合うポリゴンとして正しいかを判定する判定部と、正しいと判定された場合、前記ポリゴン同士を結合させるポリゴン結合部とをさらに含むことができる。これにより、すべてが結合された場合に完成となり、ジグソーパズルが完成したことを認識することができる。
【００２４】
前記データ取得部は、２つの前記動画データを構成する複数の画像データを取得し、前記再生部は、前記ポリゴンの表面と裏面の両方に各前記動画データにつき得られた部分画像を貼り付け、前記ポリゴンを回転させ、当該ポリゴンの当該表面から当該裏面へ表示を切り替える指示を受けたことに応答して、一方の動画データにつき得られた部分画像から他方の動画データにつき得られた部分画像に表示を切り替えることができる。これにより、片面だけでなく、もう一方の面を利用してジグソーパズルを楽しむことができ、ジグソーパズルを完成させれば、２つの動画を見ることができる。
【００２５】
また、ポリゴンは、矩形のほか、ジグソーパズルで一般に採用される凹凸を有する形状等いかなる形状であってもよい。
【００２６】
表示領域は、拡大および縮小することができ、それに応じて、ポリゴンおよび貼り付ける部分画像も、拡大および縮小することができる。
【００２７】
前記画像データは、圧縮されたデータであり、前記圧縮されたデータを復元するデコード部をさらに含むことができる。また、前記複数の画像データおよび前記音データをダウンロードして記憶するためのデータ記憶部をさらに含み、前記データ取得部は、前記データ記憶部から前記動画データを構成する前記複数の画像データを連続して順に読み出すとともに、前記音データを読み出し取得することができる。
【００２８】
本発明では、上記の動画処理システムに加えて、当該動画処理システムが備える各部が実行する処理を処理ステップとして含む動画処理方法およびその方法を実行するためのコンピュータ可読なプログラムを提供することもできる。
【００２９】
上記プログラムは、ダウンロードにより提供することができ、また、CD、SDカードといった記録媒体に格納して提供することができる。
【図面の簡単な説明】
【００３０】
【図１】本発明の動画処理システムの一実施形態としての携帯電話機を含むネットワーク環境を示した図。
【図２】動画処理システムの機能ブロック図。
【図３】動画処理システムで行われる処理の流れを示したフローチャート図。
【図４】動画データ、部分画像データ、識別情報を例示した図。
【図５】対応表を例示した図。
【図６】部分画像の別の実施形態およびそれをポリゴンに貼り付けるところを示した図。
【図７】ポリゴン同士を結合させる処理の流れを示したフローチャート図。
【図８】ポリゴンが結合可能な位置にあるところを示した図。
【図９】結合されるポリゴンと結合されないポリゴンとを例示した図。
【図１０】結合されたポリゴンを例示した図。
【図１１】動画ジグソーパスルを実行しているときの表示を例示した図。
【発明を実施するための形態】
【００３１】
図１は、本発明の映像処理システムの一実施形態としての携帯電話機を含むネットワーク環境を示した図である。この環境では、携帯電話機１０と、ネットワーク２０に接続され、動画データを格納するサーバ３０と、ネットワーク２０に接続され、また、携帯電話機１０と無線通信し、電話網に接続する基地局４０とから構成されている。ネットワーク２０は、インターネット等であり、サーバ３０は、携帯電話機１０等からのネットワーク２０を介した要求を受け取り、その要求を処理する装置である。
【００３２】
サーバ３０は、１つに限られるものではなく、複数存在していてもよく、音楽や音楽プロモーションビデオを配信するサーバ、映画を配信するサーバ、ゲームを配信するサーバ等を含むことができる。これらの処理を実行するために、サーバ３０は、これらの動画データを記憶するためのHDD等の記憶装置、要求を処理するためのプロセッサ、ネットワーク２０との間で通信を行うための通信デバイスを備える。その他、必要に応じて、ディスプレイといった表示装置、マイクやキーボードやマウスといった入力装置、スピーカー等の出力装置を備えることができる。なお、サーバ３０との通信は、例えば、TCP/IPといったプロトコルを使用して行うことができる。
【００３３】
プロトコルの異なるネットワークと接続し、そのネットワークに接続されるサーバ等と通信する場合、ネットワーク間を接続するためのネットワークノードとしてゲートウェイを備えることができる。このゲートウェイは、一般に、異なるプロトコル間の通信を可能にするための調整を行うプロトコルトランスレータ、送信側回路の出力インピーダンスと受信側回路の入力インピーダンスとを合わせるインピーダンス整合器、通信速度を調整する通信レートコンバータ、障害を防止するための障害アイソレータ、システムの互換性を保つためのシグナル変換器等を備える。
【００３４】
携帯電話機１０は、基地局４０との間で無線通信を行い、サーバ３０から動画配信を受け付ける。なお、携帯電話機１０は、電話網を介して他の携帯電話機や固定電話機へ接続し、通話を可能にするとともに、動画配信を受け付けるほか、Webページの閲覧や電子メールの送受信等を行うことができるものである。また、携帯電話機１０は、音楽再生機能、動画再生機能を有し、配信を受け付けた音楽や動画を再生することができる。
【００３５】
この携帯電話機１０は、無線通信するためのアンテナと、通話を可能にするためのスピーカーおよびマイクと、これらを制御するための電子回路と、電話番号等を入力するための入力ボタンと、電源と、電話番号等を表示するための表示装置と、電話番号等のデータを記憶するための記憶装置とを含んで構成されている。
【００３６】
電子回路は、通信処理を行うLSIのほか、音楽や動画データを処理するCPUを備える。また、記憶装置は、内蔵の不揮発記憶装置および補助記憶装置のほか、スロットを備えて着脱可能にしたメモリカードを含むことができる。記憶装置は、OS、APIやアプリケーションを記憶することができるものであればいかなるものであってもよい。OSは、アプリケーションをプロセスとして動作させ、そのプロセスを管理し、メモリの利用可能な部分への割り当ておよび解放を行うメモリ管理を行い、階層構造でファイルを管理するファイルシステムを有する。APIは、OSとアプリケーションとの間のプログラミングのためのインタフェースで、プログラムを作成する際の規則を構成するものである。アプリケーションは、音楽の再生や動画の再生、動画ジグソーパズルを提供する。したがって、CPUは、これらのソフトウェアの実行により、音楽や動画の再生を実現したり、後述する動画処理を実現することができる。
【００３７】
また、携帯電話機１０は、カメラといった撮像装置を搭載することができ、加速度を測定する加速度センサや音を感知するマイクセンサを備えることができる。携帯電話機１０は、入力ボタンに代えて、タッチパネルを採用することができる。タッチパネルは、スタイラスや指で圧力を加える等して、接触した画面位置の情報を感知し、その情報を信号として電子回路へ出力する。タッチパネルとしては、フィルムにタッチして圧力をかけ、フィルムがその下のガラス面の電極と接触し、発生した電圧を測定することにより、接触した位置を検出する抵抗膜方式のほか、指でパネル表面に触れたときに生じるわずかな電荷の変化をとらえ、その位置を検出する静電容量方式を採用することもできる。また、ここでは、携帯電話１０と基地局４０との間で無線通信を行う構成とされているが、携帯電話１０は、アクセスポイントを利用してネットワーク２０へ接続することができ、無線LANにより無線通信を行う構成とすることも可能である。
【００３８】
図２は、携帯電話機１０の機能ブロック図である。この携帯電話機１０は、動画データをサーバ３０から受信して処理することができる装置である。この動画データの処理は、この携帯電話機１０を所有するユーザに、動画ジグソーパズルを提供し、ジグソーパズルとして遊ぶことを可能にするとともに、お気に入りの動画も楽しむことができるものである。こういった機能を実現するために、図２に示すような各部を備える構成とされている。
【００３９】
携帯電話機１０は、サーバ３０からダウンロードした動画データを記憶するデータ記憶部１１、データ記憶部１１から動画データを構成する複数の画像データを連続して順に取得するとともに音データを取得するデータ取得部１２、圧縮された画像データを復元するデコード部１３、識別情報が割り当てられた各ポリゴンに表示させる部分画像の部分画像データを、復元された画像データから生成する部分画像データ生成部１４と、各ポリゴンの位置を座標データとして計算する座標計算部１５と、各ポリゴン上に各部分画像を連続して順に貼り付けて表示させるとともに、音データを再生する再生部１６と、ポリゴンの少なくとも１つを移動または回転させる入力を受け付ける入力部１７とを含んで構成される。
【００４０】
ユーザが、サーバ３０から所望の動画を選択してダウンロードすると、データ記憶部１１にその動画データが記憶される。ユーザは、そのデータ記憶部１１に記憶された動画データの１つを選択することにより、その動画データを指定することができる。
【００４１】
動画データは、連続して並ぶ複数の画像データから構成されており、データ取得部１２は、指定された動画データを構成するこれらの画像データを連続して順に受け取り、デコード部１３へ送る。デコード部１３は、MP4等に圧縮された動画データを復元する。このように、動画データは、一括ダウンロードしてデータ記憶部１１に記憶し、そこから取得することもできるが、ストリーミング配信されるものを直接取得することも可能である。また、データ記憶部１１は、デコード部１３から出力されたデータを記憶するようにされていてもよいし、後述する部分画像データを識別情報とともに記憶することも可能である。なお、画像データの順番を識別するために、ポリゴンの識別とは別の識別情報を、部分画像データに割り当てることができる。
【００４２】
部分画像データ生成部１４は、復元された動画データを受け取り、画像データから各ポリゴンに対応した部分画像データを生成する。ポリゴンは、識別情報が割り当てられ、ユーザによって移動可能にされ、複数のポリゴンが組み合わされることにより表示領域が構成されるようになっている。このポリゴンは、立体物を表示するために使用される三角形や四角形等の板状物であり、この表面上に画像が貼られることによりその画像を表示することができる。
【００４３】
このポリゴンに貼る部分画像データを識別するために、ポリゴンを識別するための識別情報が対応付けられる。識別情報は、識別することができれば、いかなる文字、記号、数字であってもよい。再生部１６は、座標計算部１５により計算された座標データと識別情報とから、対応するポリゴンの位置を特定し、部分画像データを使用して部分画像を描画し、そのポリゴン上にその部分画像を貼り付けて表示させる。
【００４４】
画像データは、連続して順に取得されるため、部分画像データ生成部１４は、画像データを受け取る度に、その画像データについて部分画像データを生成し、座標計算部１５は、それら部分画像データを表示させるために、座標データを計算し、再生部１６が、これらのデータを基に貼り付け、表示させることを繰り返す。なお、新しい部分画像が貼り付けられた場合、その下側に隠れた部分画像は消去することができる。
【００４５】
このように、次から次へと新しい部分画像が貼り付けられることにより、とぎれとぎれに動画が再生されるのではなく、なめらかに動画を再生することができ、動画データに含まれる音声や音楽データの再生も動画に対応したものとなる。これは、移動中のある時点における座標データを計算して即座に部分画像が貼り付けられるためである。
【００４６】
図３を参照して、この携帯電話機１０が行う処理について詳細に説明する。図３は、携帯電話機１０が行う処理の流れを示したフローチャート図である。この処理は、ステップ３００から開始し、まず、ステップ３０５で、サーバ３０からダウンロードしてデータ記憶部１１に記憶しておいた動画データの中からユーザが指定した動画データを読み出し、その動画データを構成する複数の画像データを連続して順に取得するとともに音データを取得する。音データは、上記の音声や音楽データである。
【００４７】
次に、ステップ３１０で、動画データは圧縮されたデータであるため、デコードし、データを復元する。復元後、ステップ３１５で、表示領域を複数に分割してできた複数のポリゴンの各々に表示させるための部分画像データを生成する。部分画像データは、表示領域に対応する画像をポリゴンと同様に分割してできた部分画像を表示するためのデータで、画像データから生成することができる。生成された各部分画像データは、対応するポリゴンに貼り付けるためにポリゴンに割り当てられた識別情報が対応付けられる。各ポリゴンの形状およびポリゴン数は、１つの矩形の表示領域をユーザが予め設定した、あるいはデフォルトの形状および分割数で切り出すことにより定められる。
【００４８】
図４（ａ）に示すように、動画データは、時刻t=0からt=1,2,3…の順に複数の画像データが連続して順に並んで構成されるものであり、その画像データを１つずつ順に取得し、図４（ｂ）に示すような各ポリゴンの形状に合わせて、画像データから生成される画像を切り出すことにより、時刻t=0のときは、図４（ｃ）に示すような部分画像データを生成する。なお、切り出された部分画像は、ポリゴンの大きさに合うように、必要に応じて拡大または縮小することができ、ポリゴンの大きさに合ったものを部分画像データとして生成することができる。
【００４９】
この部分画像データは、図４（ｂ）に示すようにポリゴンに割り当てられた識別情報とともに、図５に示す対応表として記憶し、表示タイミングになったときに各ポリゴンに貼り付けて表示させることができる。なお、部分画像データは、部分画像データを識別するための部分画像番号とすることができ、ポリゴンの識別情報であるポリゴン番号と対応付けて対応表としてデータ記憶部に記憶しておくことができる。ここでは番号としたが、文字や記号であってもよい。
【００５０】
表示タイミングは、動画を構成する複数の画像を表示するタイミングで、例えば、１秒間に表示する画像数であるフレームレートから決定することができる。なお、対応表は、表示させた後は消去され、次の画像データの対応表を作成することができる。このため、この対応表を記憶するためのデータ記憶部は少ない記憶容量とすることが可能である。
【００５１】
再び図３を参照して、ステップ３２０において、各ポリゴンの位置を座標データとして計算する。動画ジグソーパズルの実行を開始したとき、各ポリゴンは、適当な位置に散在する。これは、初期設定で各ポリゴンの位置やその向き等を設定しておくことにより実現することができる。なお、適当な位置に散在させるために、乱数を発生させ、その乱数に従って位置や向きを設定することが可能である。
【００５２】
各ポリゴンの位置は、ポリゴンが矩形である場合、表示画面の左下頂点の画素を座標(0,0)にする等して、ポリゴンの４つの頂点座標を計算することにより求めることができる。ポリゴンの辺を構成する画素数が予め分かっている場合は、少なくとも１つの頂点座標を計算することにより求めることができる。
【００５３】
ポリゴンは、その向きを変化させることも可能で、その向きも求められる。向きは、ジグソーパズルが完成したときのそのポリゴンの向きを基準とし、その基準からどの程度回転しているかにより求めることができる。左向きに倒れている場合は、90°回転しており、上下逆さまになっている場合は180°回転している。向きは、初期設定から変化していない場合は、初期設定の値を、ユーザが変化させた場合は、その変化を逐次記憶して向きのデータを更新し、その記憶されたデータから求めることができる。
【００５４】
次に、ステップ３２５で、計算された各座標データと、各識別情報と、各部分画像データとを使用して、各ポリゴン上に各部分画像を貼り付け表示させる。まず、計算された座標データ、向き、識別情報から、対応するポリゴンの位置およびその向きを特定し、次に、部分画像データを使用して部分画像を描画し、最後に、そのポリゴン上にその部分画像を貼り付けて表示させることにより、実現することができる。このとき、その表示に合わせて音データも再生する。
【００５５】
そして、ステップ３３０で、その画像データが最後かを判定する。この判定は、別途設けられる判定部により実現することができる。最後でない場合は、ステップ３１０へ戻り、次の画像データをデコードし、部分画像データを生成する。最後である場合は、ステップ３３５へ進み、動画データを再度取得するかを判定する。例えば、ジグソーパズルが完成するまで動画を再生し続けるという設定になっていて、ステップ３３５の時点で、まだ完成していない場合は、ステップ３０５へ戻り、再度、動画データを取得する。一方、完成している場合は、動画データを取得することなく、ステップ３４０へ進み、この処理を終了する。
【００５６】
ここでは動画データを再度取得する構成について説明したが、別の動画データを取得するように設定されていてもよく、この場合、別の動画データを取得し、同様に貼り付け表示させることも可能である。
【００５７】
また、部分画像の切り出しは、ポリゴンに合わせて矩形とすることに限られるものではなく、図６に示すような２つの三角形に切り出し、それらを矩形のポリゴンに貼り付けることも可能である。この場合、識別番号１のポリゴンに、「1.1」と「1.2」という領域を設け、それらを切り出した各部分画像に対応付けることにより、貼り付けるべき部分画像データを識別することができるようにすることができる。
【００５８】
各ポリゴンは、上記のように識別番号といった識別情報が割り当てられているため、あるポリゴンに対し、ユーザが隣に移動させたポリゴンを識別することができる。したがって、どのポリゴンの隣にどのポリゴンが配置された場合に正解であるかを、動画ジグソーパズルの完成時におけるポリゴンの各配置から容易に判断することができる。本発明では、隣り合うポリゴンが正解した場合に、それらポリゴン同士を結合させることができる。この処理を、図７に示すフローチャートを参照して説明する。
【００５９】
ステップ７００からこの処理を開始し、ステップ７０５で、ユーザがポリゴンの少なくとも１つを選択し、移動していることを検知する。この検知は、別途設けられる移動検知部により実現することができる。
【００６０】
次に、ステップ７１０において、そのポリゴンの一辺と他のポリゴンの一辺との距離が指定された距離以下であるかを判定する。ポリゴンはユーザが移動させるため、正確に合わせることはできない。そこで、マージンをとり、その距離以下であれば、隣り合わせにされたものと判断する。例えば、図８に示すように、ポリゴンが矩形である場合、ポリゴンを矢線で示す方向に移動させ、破線で示された領域内にそのポリゴンの一辺が配置された場合に、その距離以下となり、隣り合う位置に配置されたと判定することができる。なお、図８では、一方のポリゴンの外側から他方のポリゴンを接近させるように移動しているところを示しているが、一方のポリゴン上を、他方のポリゴンを移動させ、破線で示された領域内に当該他方のポリゴンの一辺が配置された場合に、隣り合う位置に配置されたと判定することもできる。
【００６１】
隣り合う位置に配置されていない場合は、ステップ７０５へ戻り、再び同じポリゴンの移動を検知するか、または別のポリゴンの移動を検知する。一方、配置された場合は、ステップ７１５へ進み、完成時のポリゴンの配置から、そのポリゴンが上記他のポリゴンに隣り合うポリゴンとして正しいかを判定する。すなわち、正解であるかを判断する。図４（ｂ）に示すように表示領域が８つの矩形のポリゴンに切り分けられ、各ポリゴンに１、２、…、８という識別情報が割り当てられた場合、図９（ａ）に示すように識別情報１のポリゴンの右隣に識別情報２の部分画像が貼り付けられたポリゴンが配置されれば、丸で示される正解となり、図９（ｂ）に示すように識別情報１のポリゴンの下に識別情報５の部分画像が貼り付けられたポリゴンが配置されれば、丸で示される正解となり、図９（ｃ）に示すように識別情報１の左隣に識別情報３の部分画像が貼り付けられたポリゴンが配置された場合のように、完成時のポリゴンの配置、具体的には図４（ｂ）に示す配置とは異なる場合はバツで示される不正解となる。これらの判定はいずれも、上記の判定部が行うことができる。また、図９では、各ポリゴンの下側に数字が表示されているが、これらの数字はポリゴンを識別するために表示したものであり、実際には表示されないものである。以下の図１０および図１１も同様である。
【００６２】
再び図７を参照して、不正解の場合は、ポリゴン同士は結合せず、正解の場合は、ステップ７２０へ進み、ポリゴン同士を結合させる。ポリゴンの結合は、初期設定で設定されたポリゴンの形状および向き、その数というデータを変更し、それを更新することにより行うことができる。この結合処理は、別途設けられるポリゴン結合部により行うことができる。
【００６３】
データが更新されると、ステップ７２５で、ポリゴン結合部から部分画像データ生成部１４に指示し、部分画像データ生成部１４は、そのポリゴンに適合するように画像を切り出し、それに対応する部分画像データを生成する。すなわち、図１０に示すようなポリゴン1-2とされ、そのポリゴン1-2の形状およびサイズに適合して切り出された部分画像の部分画像データが生成され、貼り付けられ、それが表示される。このとき、結合されたポリゴンを識別するための識別情報としては、結合前のポリゴンの識別情報を使用して上記のような「1-2」のようにしたり、他の識別情報を割り当て、それを用いることもできる。指示した後、ステップ７３０へ進み、この処理を終了する。
【００６４】
なお、この処理は、図３に示す処理と同時に行われるため、図３のステップ３１５で、結合されたポリゴンを含む各サイズのポリゴンに表示させる部分画像データを生成し、ステップ３２０で、その結合されたポリゴンを含む各ポリゴンの位置を計算し、ステップ３２５で、各ポリゴンに部分画像を貼り付け表示させるという処理が行われる。したがって、このとき、結合されたポリゴンには、それ以前の２つの部分画像を結合した部分画像が貼り付けられ、表示される。
【００６５】
一度結合されると、結合されたポリゴンは、結合された状態で移動可能とされる。ユーザがポリゴンを移動させ、携帯電話機１０において上記の処理を繰り返すと、すべてのポリゴンが結合され、ジグソーパズルが完成となる。ジグソーパズルが完成すると、表示領域全体に動画が表示されることとなる。ここでの表示領域は、画面全体であってもよいし、予め指定された画面領域であってもよい。
【００６６】
ポリゴンの移動は、入力部１７により実現することができる。入力部１７が、タッチパネルのタッチセンサである場合、ユーザは、画面の所定位置にスタイラスあるいは指を押し当て、それを押し当てたままの状態でスライドさせることにより、ポリゴンの移動を実現することができる。加速度センサである場合は、携帯電話機１０自体を上下左右に移動させることにより、その方向へ移動させることができる。その移動距離は、加える力を制御することにより調整することができる。マイクセンサは、方向を判別することが困難であるため、ジグソーパズル開始時のポリゴンを散在させる際に、利用することができる。具体的には、各ポリゴンの分散方向を予め設定し、また、画面の縁に衝突した場合に、挿入角と同じ角度で反射するように設定しておき、マイクセンサに入力される音量に応じてポリゴンの移動距離を変化させることで、ポリゴンを散在させることができる。
【００６７】
図２に示したデータ取得部１２は、２つの動画データを構成する複数の画像データを取得することができ、再生部１６は、ポリゴンの一方の面である表面と他方の面である裏面の両方に、各動画データにつき得られた部分画像を貼り付け、ポリゴンを回転させ、そのポリゴンのその表面から裏面へ表示を切り替える指示を受けたことに応答して、一方の動画データにつき得られた部分画像から他方の動画データにつき得られた部分画像に表示を切り替えることも可能である。
【００６８】
再生部１６は、初期設定において、すべてのポリゴンの部分画像を貼り付ける面を表面とし、その情報を保持する。ユーザが、タッチパネル等を利用してポリゴンの１つを裏返すと、再生部１６は、対応する他方の部分画像を裏面に貼り付け表示させ、そのポリゴンが裏面であることを示す情報を記録する。表面であるか、裏面であるかの識別は、例えば、ビットが立っているか否かにより実現することができる。
【００６９】
これにより、片面だけでなく、もう一方の面を利用してジグソーパズルを楽しむことができ、ジグソーパズルを完成させれば、２つの動画を見ることができる。なお、ポリゴンは、上記のようにして２以上が結合されたポリゴンであってもよいものである。
【００７０】
ポリゴンは、表面と裏面とを有する板ポリゴンに限られるものではなく、立体であってもよい。例えば、六面体であれば、６つの動画データを取得し、各面に対応した部分画像を貼り付け表示させることで、６つの動画を視聴可能にすることができる。
【００７１】
また、回転させる途中、模様や質感を再現するためにテクスチャと呼ばれる画像をその部分画像に重ねて貼り付け、立体感を表現することも可能である。部分画像の中心部分を大きく表現し、端部を小さく表現するように加工することで、曲面に貼り付け、表示させることも可能である。
【００７２】
本発明の動画処理システムおよび動画処理方法を使用して、実際に、動画ジグソーパズルを実行し、画面に表示される動画パズルを図１１に例示する。動画ジグソーパズルの実行を開始すると、動画データを構成する画像データおよび音データを取得し、デコードし、部分画像データを生成し、ランダムに配置されたポリゴン上に貼り付け、表示させる。このときの表示が、図１１（ａ）に示すものとなる。
【００７３】
ユーザは、タッチパネル等の入力装置を使用して、部分画像が貼り付けられたポリゴンを移動させる。そのとき、t=1の時刻に達していれば、移動中においても次の部分画像が貼り付けられる。このときの表示が、図１１（ｂ）に示すものとなる。
【００７４】
そして、ユーザは、識別番号１のポリゴンに隣り合って識別番号２のポリゴンを配置すると、正解となり、それらのポリゴンは結合する。このとき、t=2の時刻であれば、時刻t=2における結合した部分画像を識別番号1-2の、それまでの２倍の面積を有するポリゴンに貼り付け、表示させる。この表示が、図１１（ｃ）に示すものとなる。
【００７５】
一度結合すると、結合したまま移動可能とされる。ユーザは、部分画像が重なり合い、見にくくなるのを防ぐため、部分画像が貼り付けられたポリゴンを移動させ、その後、さらに次のポリゴンを移動させ、動画ジグソーパズルを完成させていく。このときの表示が、図１１（ｄ）に示すものとなる。
【００７６】
このような操作を繰り返し、すべてのポリゴンが結合したところで、動画ジグソーパズルは完成となり、全画面で動画を視聴することが可能となる。なお、動画ジグソーパズルが完成したところで「完成」等の文字を表示させることも可能である。また、１つパズルが正解する度に、「○」や「正解」等を表示させることも可能である。
【００７７】
また、このような操作の途中、ポリゴンの１つを連続して２回タッチする等して、その裏面へ回転させることができ、別の動画を表示させることもできる。本発明では、１つのポリゴンのみを回転させるように構成することもできるし、１つのポリゴンの回転に伴い、すべてのポリゴンを同時に、または時間差を置いて回転させることも可能である。
【００７８】
回転後は、上記と同様にして、ポリゴンを結合させ、ジグソーパズルを完成させることができる。この場合の完成後の動画は、上記の別の動画となる。
【００７９】
これまで本発明を上述した実施形態をもって説明してきたが、本発明は上述した実施形態に限定されるものではなく、他の実施形態、追加、変更、削除など、当業者が想到することができる範囲内で変更することができ、いずれの態様においても本発明の作用・効果を奏する限り、本発明の範囲に含まれるものである。したがって、本発明は、動画処理システム、動画処理方法のほか、その方法を実行するためのコンピュータ可読なプログラムとして構成することができ、また、そのプログラムを、サーバ等からのダウンロードにより、またはフレキシブルディスク、CD、DVD、SDカード、フラッシュメモリ等の記録媒体に記録して提供することもできるものである。
【００８０】
動画処理システムは、携帯電話機のほか、動画を再生することが可能なデジタルメディアプレイヤ、ゲーム機、PDA等とすることもできる。また、本発明のプログラムをインストールすれば、PCも、動画処理システムとして構成することが可能である。
【符号の説明】
【００８１】
１０…携帯電話機、１１…データ記憶部、１２…データ取得部、１３…デコード部、１４…部分画像データ生成部、１５…座標計算部、１６…再生部、１７…入力部、２０…ネットワーク、３０…サーバ、４０…基地局
【特許請求の範囲】
【請求項１】
動画データを処理する動画処理システムであって、
前記動画データを構成する複数の画像データを連続して順に取得するとともに音データを取得するデータ取得部と、
各々に識別情報が割り当てられ、各々が移動可能にされた複数のポリゴンから構成される表示領域の各前記ポリゴンに表示させる各部分画像の部分画像データを、取得した前記画像データから各前記識別情報と対応付けて生成する部分画像データ生成部と、
前記各ポリゴンの位置を座標データとして計算する座標計算部と、
得られた各前記座標データと前記各識別情報と前記各部分画像データとを使用して、前記各ポリゴン上に前記各部分画像を連続して順に貼り付けて表示させるとともに、前記音データを再生する再生部とを含む、動画処理システム。
【請求項２】
前記ポリゴンの少なくとも１つを移動または回転させる入力を受け付ける入力部をさらに含む、請求項１に記載の動画処理システム。
【請求項３】
前記ポリゴンの少なくとも１つの移動を検知する移動検知部と、
前記ポリゴンの一辺と他のポリゴンの一辺との距離が指定された距離以下である場合、パズル完成時のポリゴンの配置から、当該ポリゴンが当該他のポリゴンに隣り合うポリゴンとして正しいかを判定する判定部と、
正しいと判定された場合、前記ポリゴン同士を結合させるポリゴン結合部とをさらに含む、請求項２に記載の動画処理システム。
【請求項４】
前記データ取得部は、２つの前記動画データを構成する複数の画像データを取得し、前記再生部は、前記ポリゴンの表面と裏面の両方に各前記動画データにつき得られた部分画像を貼り付け、前記ポリゴンを回転させ、当該ポリゴンの当該表面から当該裏面へ表示を切り替える指示を受けたことに応答して、一方の動画データにつき得られた部分画像から他方の動画データにつき得られた部分画像に表示を切り替える、請求項１〜３に記載の動画処理システム。
【請求項５】
前記画像データは、圧縮されたデータであり、前記圧縮されたデータを復元するデコード部をさらに含む、請求項１〜４のいずれか１項に記載の動画処理システム。
【請求項６】
前記複数の画像データおよび前記音データをダウンロードして記憶するためのデータ記憶部をさらに含み、前記データ取得部は、前記データ記憶部から前記動画データを構成する前記複数の画像データを連続して順に読み出すとともに、前記音データを読み出し取得する、請求項１〜５のいずれか１項に記載の動画処理システム。
【請求項７】
動画データを処理する動画処理システムにより実行される動画処理方法であって、
前記動画データを格納するサーバから、当該動画データを構成する複数の画像データを連続して順に取得するとともに音データを取得するステップと、
各々に識別情報が割り当てられ、各々が移動可能にされた複数のポリゴンから構成される表示領域の各前記ポリゴンに表示させる各部分画像の部分画像データを、取得した前記画像データから各前記識別情報と対応付けて生成するステップと、
前記各ポリゴンの位置を座標データとして計算するステップと、
得られた各前記座標データと前記各識別情報と前記各部分画像データとを使用して、前記各ポリゴン上に前記各部分画像を連続して順に貼り付けて表示させるとともに、前記音データを再生するステップとを含む、動画処理方法。
【請求項８】
前記ポリゴンの少なくとも１つを移動または回転させる入力を受け付けるステップをさらに含む、請求項７に記載の動画処理方法。
【請求項９】
前記ポリゴンの少なくとも１つの移動を検知するステップと、
前記ポリゴンの一辺と他のポリゴンの一辺との距離が指定された距離以下である場合、パズル完成時のポリゴンの配置から、当該ポリゴンが当該他のポリゴンに隣り合うポリゴンとして正しいかを判定するステップと、
正しいと判定された場合、前記ポリゴン同士を結合させるステップとをさらに含む、請求項８に記載の動画処理方法。
【請求項１０】
前記取得するステップでは、２つの前記動画データを構成する複数の画像データを取得し、前記再生するステップでは、前記ポリゴンの表面と裏面の両方に各前記動画データにつき得られた部分画像を貼り付け、前記ポリゴンを回転させ、当該ポリゴンの当該表面から当該裏面へ表示を切り替える指示を受けたことに応答して、一方の動画データにつき得られた部分画像から他方の動画データにつき得られた部分画像に表示を切り替える、請求項７〜９のいずれか１項に記載の動画処理方法。
【請求項１１】
前記画像データは、圧縮されたデータであり、前記圧縮されたデータを復元するステップをさらに含む、請求項７〜１０のいずれか１項に記載の動画処理方法。
【請求項１２】
前記動画処理システムは、前記複数の画像データおよび前記音データをダウンロードして記憶するためのデータ記憶部をさらに含み、
前記取得するステップでは、前記データ記憶部から前記動画データを構成する前記複数の画像データを連続して順に読み出すとともに、前記音データを読み出し取得する、請求項７〜１１のいずれか１項に記載の動画処理方法。
【請求項１３】
請求項７〜１２のいずれか１項に記載の動画処理方法を実行するためのコンピュータ可読なプログラム。
【請求項１】
動画データを処理する動画処理システムであって、
前記動画データを構成する複数の画像データを連続して順に取得するとともに音データを取得するデータ取得部と、
各々に識別情報が割り当てられ、各々が移動可能にされた複数のポリゴンから構成される表示領域の各前記ポリゴンに表示させる各部分画像の部分画像データを、取得した前記画像データから各前記識別情報と対応付けて生成する部分画像データ生成部と、
前記各ポリゴンの位置を座標データとして計算する座標計算部と、
得られた各前記座標データと前記各識別情報と前記各部分画像データとを使用して、前記各ポリゴン上に前記各部分画像を連続して順に貼り付けて表示させるとともに、前記音データを再生する再生部とを含む、動画処理システム。
【請求項２】
前記ポリゴンの少なくとも１つを移動または回転させる入力を受け付ける入力部をさらに含む、請求項１に記載の動画処理システム。
【請求項３】
前記ポリゴンの少なくとも１つの移動を検知する移動検知部と、
前記ポリゴンの一辺と他のポリゴンの一辺との距離が指定された距離以下である場合、パズル完成時のポリゴンの配置から、当該ポリゴンが当該他のポリゴンに隣り合うポリゴンとして正しいかを判定する判定部と、
正しいと判定された場合、前記ポリゴン同士を結合させるポリゴン結合部とをさらに含む、請求項２に記載の動画処理システム。
【請求項４】
前記データ取得部は、２つの前記動画データを構成する複数の画像データを取得し、前記再生部は、前記ポリゴンの表面と裏面の両方に各前記動画データにつき得られた部分画像を貼り付け、前記ポリゴンを回転させ、当該ポリゴンの当該表面から当該裏面へ表示を切り替える指示を受けたことに応答して、一方の動画データにつき得られた部分画像から他方の動画データにつき得られた部分画像に表示を切り替える、請求項１〜３に記載の動画処理システム。
【請求項５】
前記画像データは、圧縮されたデータであり、前記圧縮されたデータを復元するデコード部をさらに含む、請求項１〜４のいずれか１項に記載の動画処理システム。
【請求項６】
前記複数の画像データおよび前記音データをダウンロードして記憶するためのデータ記憶部をさらに含み、前記データ取得部は、前記データ記憶部から前記動画データを構成する前記複数の画像データを連続して順に読み出すとともに、前記音データを読み出し取得する、請求項１〜５のいずれか１項に記載の動画処理システム。
【請求項７】
動画データを処理する動画処理システムにより実行される動画処理方法であって、
前記動画データを格納するサーバから、当該動画データを構成する複数の画像データを連続して順に取得するとともに音データを取得するステップと、
各々に識別情報が割り当てられ、各々が移動可能にされた複数のポリゴンから構成される表示領域の各前記ポリゴンに表示させる各部分画像の部分画像データを、取得した前記画像データから各前記識別情報と対応付けて生成するステップと、
前記各ポリゴンの位置を座標データとして計算するステップと、
得られた各前記座標データと前記各識別情報と前記各部分画像データとを使用して、前記各ポリゴン上に前記各部分画像を連続して順に貼り付けて表示させるとともに、前記音データを再生するステップとを含む、動画処理方法。
【請求項８】
前記ポリゴンの少なくとも１つを移動または回転させる入力を受け付けるステップをさらに含む、請求項７に記載の動画処理方法。
【請求項９】
前記ポリゴンの少なくとも１つの移動を検知するステップと、
前記ポリゴンの一辺と他のポリゴンの一辺との距離が指定された距離以下である場合、パズル完成時のポリゴンの配置から、当該ポリゴンが当該他のポリゴンに隣り合うポリゴンとして正しいかを判定するステップと、
正しいと判定された場合、前記ポリゴン同士を結合させるステップとをさらに含む、請求項８に記載の動画処理方法。
【請求項１０】
前記取得するステップでは、２つの前記動画データを構成する複数の画像データを取得し、前記再生するステップでは、前記ポリゴンの表面と裏面の両方に各前記動画データにつき得られた部分画像を貼り付け、前記ポリゴンを回転させ、当該ポリゴンの当該表面から当該裏面へ表示を切り替える指示を受けたことに応答して、一方の動画データにつき得られた部分画像から他方の動画データにつき得られた部分画像に表示を切り替える、請求項７〜９のいずれか１項に記載の動画処理方法。
【請求項１１】
前記画像データは、圧縮されたデータであり、前記圧縮されたデータを復元するステップをさらに含む、請求項７〜１０のいずれか１項に記載の動画処理方法。
【請求項１２】
前記動画処理システムは、前記複数の画像データおよび前記音データをダウンロードして記憶するためのデータ記憶部をさらに含み、
前記取得するステップでは、前記データ記憶部から前記動画データを構成する前記複数の画像データを連続して順に読み出すとともに、前記音データを読み出し取得する、請求項７〜１１のいずれか１項に記載の動画処理方法。
【請求項１３】
請求項７〜１２のいずれか１項に記載の動画処理方法を実行するためのコンピュータ可読なプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１１−４８６３４（Ｐ２０１１−４８６３４Ａ）
【公開日】平成２３年３月１０日（２０１１．３．１０）
【国際特許分類】
【出願番号】特願２００９−１９６６２０（Ｐ２００９−１９６６２０）
【出願日】平成２１年８月２７日（２００９．８．２７）
【出願人】（３０４０１２５９６）株式会社ＣＲＩ・ミドルウェア (8)
【Ｆターム（参考）】
【公開日】平成２３年３月１０日（２０１１．３．１０）
【国際特許分類】
【出願日】平成２１年８月２７日（２００９．８．２７）
【出願人】（３０４０１２５９６）株式会社ＣＲＩ・ミドルウェア (8)
【Ｆターム（参考）】
[ Back to top ]