画像送信装置、画像送信方法及びプログラム
【課題】動画像データを画像蓄積サーバに転送でき、且つ動画像データを迅速に再生することができ、メモリ使用量あたりの再生時間が長い画像送信装置、画像送信方法及びプログラムを提供する。
【解決手段】動画像データをメモリ１０４に記憶させる記憶制御部１０３と、メモリ１０４に記憶された動画像データのうち、最後に再生されるべき動画像データから順に、蓄積サーバ３０３へ転送する転送部１０６と、メモリ１０４に記憶された複数の動画像シーケンスのうち、一つの動画像シーケンスをビットレートに基づいて選択する選択部１０７とを有する。
【解決手段】動画像データをメモリ１０４に記憶させる記憶制御部１０３と、メモリ１０４に記憶された動画像データのうち、最後に再生されるべき動画像データから順に、蓄積サーバ３０３へ転送する転送部１０６と、メモリ１０４に記憶された複数の動画像シーケンスのうち、一つの動画像シーケンスをビットレートに基づいて選択する選択部１０７とを有する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は画像送信装置、画像送信方法及びプログラムに関し、特に、動画像データを画像蓄積サーバに転送するために用いて好適な技術に関する。
【背景技術】
【０００２】
従来、通信機能を備えたデジタルカメラやカメラ付き携帯電話で撮影した画像データを、公衆回線を介して画像蓄積サーバに転送する画像送信装置が知られている（例えば、特許文献１〜３参照）。これらの画像送信装置によれば、デジタルカメラやカメラ付き携帯電話のメモリが画像データで一杯になったときでも、その画像データを画像蓄積サーバに転送することでメモリに空きを作ることができる。これにより、メモリの空きがなくなり撮影ができなくなるという不具合を解消することができる。また、デジタルカメラやカメラ付き携帯電話のメモリ搭載量を少なくすることができるという利点がある。
【０００３】
【特許文献１】特開平１１−１４６２２４号公報
【特許文献２】特開２００１−１２８１１３号公報
【特許文献３】特開２００４−３４３３２８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の画像送信装置は、静止画像データのみを対象としており、動画像データに適したシステムが存在しなかった。動画像データを対象とする画像送信装置では、メモリに空きを作るだけでなく、さらに動画像データを読み出して再生を開始するまでの遅延時間を短くする必要がある。また、メモリから読み出して再生されるべき動画像データのメモリ使用量あたりの再生時間は、どの動画像データを選んでもばらつきなく長い方が望ましい。
【０００５】
本発明は前述の問題点に鑑み、動画像データを画像蓄積サーバに転送でき、且つ動画像データを迅速に再生することができ、メモリ使用量あたりの再生時間が長い画像送信装置、画像送信方法及びプログラムを提供することを目的としている。
【課題を解決するための手段】
【０００６】
本発明の画像送信装置は、複数の動画像シーケンスをメモリに記憶する記憶制御手段と、前記メモリに記憶された複数の動画像シーケンスから１つの動画像シーケンスを選択する選択手段と、前記選択手段より選択された動画像シーケンスの動画像データのうち、最後に再生されるべき動画像データから、動画像データを蓄積するための外部装置へ転送する転送手段とを備え、前記選択手段は、前記メモリに記憶された複数の動画像シーケンスのビットレートに基づいて選択することを特徴とする。
【０００７】
本発明の画像送信方法は、複数の動画像シーケンスをメモリに記憶する記憶制御工程と、前記メモリに記憶された複数の動画像シーケンスのうち、一つの動画像シーケンスを選択する選択工程と、前記選択工程において選択された動画像シーケンスの動画像データのうち、最後に再生されるべき動画像データから順に、動画像データを蓄積するための外部装置へ転送する転送工程とを備え、前記選択工程においては、前記メモリに記憶された複数の動画像シーケンスのビットレートに基づいて選択することを特徴とする。
【０００８】
本発明のプログラムは、前記画像送信方法の各工程をコンピュータに実行させることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、動画像データに対する再生遅延時間を短くすることができる。また、メモリに残された動画像データを再生する際、どの動画像データを選んでもメモリ使用量あたりの再生時間を比較的ばらつくことなく長くすることができる。
【発明を実施するための最良の形態】
【００１０】
（第１の実施形態）
以下、本発明の第１の実施形態の画像送信装置の構成について、図１及び図３を参照して説明する。図３は、本実施形態におけるデジタルカメラ３０１を用いたシステムの一例を示す図である。
図３において、３０１は動画像データを撮影するデジタルカメラであり、デジタルカメラ３０１はネットワーク３０２を介して蓄積サーバ３０３に接続されている。蓄積サーバ３０３は大容量のサーバメモリ３０４を備える。
【００１１】
図１は、本実施形態のデジタルカメラ（画像送信装置）３０１の内部構成例を示すブロック図である。
図１において、１０１は動画像データを撮像する撮像部である。１０２は撮像された動画像データを符号化し、動画像符号化データを出力する符号部である。本実施形態のデジタルカメラ３０１では、符号化方式としてＭＰＥＧ−２を想定しているが、他の符号化方式を用いてもよく、例えば、Motion-JPEGやＨ．２６４といった符号化方式で符号化してもよい。さらに、符号化を行わず、動画像データをそのまま出力してもかまわない。
【００１２】
１０３は、メモリ１０４へ動画像符号化データを記憶させる記憶制御部であり、１０４は、動画像符号化データを記憶するメモリである。メモリ１０４はＳＤカードのように着脱可能な媒体であってもよいし、デジタルカメラ内蔵のフラッシュメモリのように着脱不可能であってもよい。また、メモリ１０４はＨＤＤ（Hard Disk Drive）であってもよい。
【００１３】
１０５は、メモリ１０４に記憶された動画像符号化データのデータ量を検出する記憶容量検出部であり、１０７は、転送すべき一つの動画像シーケンスを選択する選択部である。１０６は、ネットワーク３０２を介して符号化データを蓄積サーバ３０３に転送する転送部である。
【００１４】
１０８は、ネットワーク３０２を介して蓄積サーバ３０３から送信される動画像符号化データを受信する受信部である。また、受信部１０８は蓄積サーバ３０３から送信される動画像符号化データを一時的に保持する不図示の受信バッファを備えている。１０９は、外部から再生の指示が与えられると、メモリ１０４から動画像符号化データを読み出し、受信部１０８から動画像符号化データを受け取る再生制御部である。１１０は、再生制御部１０９から出力される動画像符号化データを復号化する復号化部である。１１１は、復号化された動画像データを表示する表示部である。
【００１５】
なお、本実施形態のデジタルカメラ３０１は、符号化部１０２及び復号化部１１０を備えるが、本発明はこれに限定されるものではなく、動画像データに対する符号化処理及び復号化処理が行われなくてもよい。
【００１６】
ここで、動画像符号化データの構成要素を説明する。動画像符号化データは図１５に示すように、シーケンス、ＧＯＰ（Group Of Picture）、ピクチャ、スライスという要素から構成される。シーケンスとは、撮影開始から終了までの一連のＧＯＰ（Group Of Picture）の連なりである。ＧＯＰ（Group Of Picture）とは、シーケンスを構成する要素であり、複数のピクチャから構成される。図１５において、Ｉはフレーム内符号化ピクチャを表し、Ｐは前方向予測符号化ピクチャを表し、Ｂは双方向予測符号化ピクチャ表す。
【００１７】
一般的には、ＧＯＰはフレーム内符号化ピクチャで区切られる一連のピクチャ群とされ、動画像符号化データに対するランダムアクセス可能な単位となっている。ピクチャは１つ以上のスライスから構成される。なお、Ｈ．２６４ではＧＯＰと呼ばれる動画像符号化データ構成要素は存在しないが、図１４に示すようにＩＤＲ（Instantaneous Decoding Refresh）ピクチャで区切られる一連のピクチャ群をＧＯＰとして扱うものとする。
【００１８】
次に、本実施形態の画像送信装置の動作について詳細に説明する。
記憶制御部１０３は、ユーザから指示を受けると、符号化部１０２から出力された動画像符号化データをメモリ１０４に記憶させる。記憶制御部１０３は、図１３に示すように、シーケンスを構成する各々のＧＯＰの先頭位置情報もメモリ１０４に記憶する。なお、一連のシーケンスの符号化を終了した後に、当該シーケンスを構成する各々のＧＯＰの先頭位置をメモリ１０４に記憶してもよい。さらに、記憶制御部１０３は、ＧＯＰではなく各々のピクチャの先頭位置情報をメモリ１０４に記憶してもよい。
【００１９】
転送部１０６は、記憶容量検出部１０５から得られるメモリ１０４の残りデータ量と、記憶制御部１０３によって記憶されたＧＯＰの先頭位置情報とに基づいて、蓄積サーバ３０３に符号化データを転送する。
【００２０】
転送部１０６における好適な処理例の詳細を、図２Ａを用いて説明する。図２Ａは、本実施形態のデジタルカメラ３０１による転送処理手順の一例を示すフローチャートである。
まず、図２Ａ（ａ）において、転送部１０６は、残り記憶容量が予め設定された所定値MemResTh1以上であるか否かを判定する（ステップＳ２０１ａ）。この判定の結果、残り記憶容量が所定値MemResTh1以下でない場合は（ステップＳ２０１ａでＮｏ）、処理を終了する。一方、残り記憶容量が所定値MemResTh1以下である場合は（ステップＳ２０１ａでＹｅｓ）、ステップＳ２０２ａへ処理を進める。
【００２１】
次に、選択部１０７は、符号化部１０２から得られる各動画像シーケンスの情報と、記憶制御部１０３によって記憶されたＧＯＰの先頭位置情報とに基づいて、以下のステップＳ２０２ａに示す処理を行う。まず、メモリ１０４に記憶されている動画像シーケンスの中から、１つの動画像シーケンスを選択する（ステップＳ２０２ａ）。なお、この選択処理についての詳細は後述する。そして、転送部１０６は、選択されたシーケンス内のＧＯＰの個数を変数Ｎに設定する（ステップＳ２０３ａ）。
【００２２】
次に、転送部１０６は、記憶制御部１０３によって記憶された図１３に示すようなＧＯＰの先頭位置情報に基づいて、シーケンス内のＮ個目のＧＯＰ符号化データを読み出し、蓄積サーバ３０３へ転送する（ステップＳ２０４ａ）。なお、転送されたＧＯＰ符号化データはメモリ１０４から削除される。ここで、ＮがＧＯＰの個数に等しい場合は、シーケンス内の最後のＧＯＰが送信されることになる。
【００２３】
次に、記憶制御部１０３は、残り記憶容量が予め設定された所定値MemResTh2以下であるか否かを判定する（ステップＳ２０５ａ）。この判定の結果、残り記憶容量が所定値MemResTh2以下でない場合は（ステップＳ２０５ａでＮｏ）、処理を終了する。一方、残り記憶容量が所定値MemResTh2以下である場合は（ステップＳ２０５ａでＹｅｓ）、ステップＳ２０６ａへ処理を進める。ここで、通常所定値MemResTh2は所定値MemResTh1よりも大きい値が設定される。
【００２４】
次に、転送部１０６は、Ｎの値を１減らして（ステップＳ２０６ａ）、Ｎが０であるか否かを判定する（ステップＳ２０７ａ）。Ｎが０でない場合は（ステップＳ２０７ａでＮｏ）、再度ステップＳ２０４ａまで戻る。一方、Ｎが０である場合は（ステップＳ２０７ａでＹｅｓ）、ステップＳ２０２ａへと戻り、次の送信すべきシーケンスの選択処理から繰り返す。
【００２５】
なお、転送部１０６は、これらの処理を行っている途中でユーザによって転送終了の指示が与えられた場合、ＧＯＰの送信中であれば、当該ＧＯＰのデータを全て蓄積サーバへ転送し終えてから、処理を終了する。そうでない場合は、転送部１０６は、ただちに処理を終了する。
【００２６】
次に、ステップＳ２０２ａの処理について図２Ａ（ｂ）のフローチャート用いて詳細に説明する。選択部１０７は、メモリ１０４内にある動画像シーケンスの個数を変数Ｉに設定する（ステップＳ２０２１ａ）。続いて選択部１０７は、変数ｉに１を、変数MaxBitRateに０をそれぞれ設定する（ステップＳ２０２２ａ）。
【００２７】
次に、選択部１０７は、符号化部１０２から得たｉ番目のシーケンスのビットレートが変数MaxBitRateより大きいか否かを判定する（ステップＳ２０２３ａ）。この判定の結果、検出結果が変数MaxBitRateより大きい場合は（ステップＳ２０２３ａでＹｅｓ）、ステップＳ２０２４ａへ進み、そうでない場合は（ステップＳ２０２３ａでＮｏ）、ステップＳ２０２５ａへと処理を進める。ステップ２０２４ａにおいて選択部１０７は、変数MaxBitRateにｉ番目のシーケンスのビットレートを設定し、変数ｊに変数ｉの値を設定する。
【００２８】
また、ステップＳ２０２５ａにおいて、選択部１０７は、変数ｉの値と変数Ｉの値が等しいないか否かを判定する。この判定の結果、等しい場合は（ステップＳ２０２５ａでＹｅｓ）ステップＳ２０２７ａへ進み、等しくない場合は（ステップＳ２０２５ａでＮｏ）、ステップＳ２０２６ａへと処理を進める。
【００２９】
次に、ステップＳ２０２６ａにおいて、選択部１０７は、変数ｉの値を１増加させたのちステップＳ２０２３ａへと戻り、以降ステップＳ２０２５ａにおいてＹｅｓの判定がなされるまでステップＳ２０２３ａ〜Ｓ２０２６ａを繰り返す。ステップＳ２０２７ａにおいて選択部１０７は、ｊ番目のシーケンスを送信シーケンスとして選択し、処理を終了する。
【００３０】
以上に説明した処理を転送部１０６及び選択部１０７が行うことにより、選択されたシーケンスの最後のＧＯＰから順番に、メモリ１０４の残り記憶容量が所定値MemResTh2より大きくなるまで、蓄積サーバ３０３へ動画像符号化データが転送される。そして、転送された動画像符号化データは、蓄積サーバ３０３が有するサーバメモリ３０４に蓄積される。これにより、たとえ転送部１０６が途中で転送処理を終了しても、シーケンスの後半はサーバメモリ３０４に蓄積され、シーケンスの前半はメモリ１０４に残される。
【００３１】
また、ビットレートの高いシーケンスから優先的に転送されるので、メモリ１０４には比較的ビットレートの低いシーケンスが残る。そのためメモリ１０４に残されたシーケンスを再生するときでも、どのシーケンスが選ばれてもメモリ使用量あたりの再生時間を比較的ばらつくことなく長くすることができる。
【００３２】
さらに、転送部１０６におけるその他の好適な処理例の詳細を、図２Ｂを用いて説明する。図２Ｂは、本実施形態のデジタルカメラ３０１による転送処理手順の他の例を示すフローチャートである。
まず、図２Ｂ（ａ）において、転送部１０６は、変数PrTmResThに０を設定する（ステップＳ２００ｂ）。次に、転送部１０６は、残り記憶容量が予め設定された所定値MemResTh1以上であるか否かを判定する（ステップＳ２０１ｂ）。この判定の結果、残り記憶容量が所定値MemResTh1以下でない場合は（ステップＳ２０１ｂでＮｏ）、処理を終了する。一方、残り記憶容量が所定値MemResTh1以下である場合は（ステップＳ２０１ｂでＹｅｓ）、ステップＳ２０２ｂへ処理を進める。
【００３３】
次に、選択部１０７は、符号化部１０２から得られる各動画像シーケンスの情報と、記憶制御部１０３によって記憶されたＧＯＰの先頭位置情報とに基づいて、以下に示す処理を行う。ステップＳ２０２ｂにおいては、メモリ１０４に記憶されている動画像シーケンスの中から、一つの動画像シーケンスが選択されるが、詳細は後述する。そして、転送部１０６は、ステップＳ２０２ｂにおいて選択されなかったシーケンスのうち、残り再生時間が最も長いシーケンスの残り再生時間を閾値PrTmResThに設定する（ステップＳ２０３ｂ）。
【００３４】
次に、転送部１０６は、ステップＳ２０２ｂにおいて選択されたシーケンス内のＧＯＰの個数を変数Ｎに設定する（ステップＳ２０４ｂ）。そして、転送部１０６は、記憶制御部１０３によって記憶された図１３に示すようなＧＯＰの先頭位置情報に基づいて、シーケンス内のＮ個目のＧＯＰ符号化データを読み出し、蓄積サーバ３０３へ転送する（ステップＳ２０５ｂ）。なお、転送されたＧＯＰ符号化データはメモリから削除される。ここで、ＮがＧＯＰの個数に等しい場合は、シーケンス内の最後のＧＯＰが送信されることになる。
【００３５】
次に、記憶制御部１０３は、残り記憶容量が予め設定された所定値MemResTh2以上であるか否かを判定する（ステップＳ２０６ｂ）。この判定の結果、残り記憶容量が所定値MemResTh2以下でない場合は（ステップＳ２０６ｂでＮｏ）、処理を終了する。一方、残り記憶容量が所定値MemResTh2以下である場合は（ステップＳ２０６ｂでＹｅｓ）、ステップＳ２０７ｂへ処理を進める。ここで、通常所定値MemResTh2は所定値MemResTh1よりも大きい値が設定される。
【００３６】
次に、転送部１０６は、Ｎの値を１減らして（ステップＳ２０７ｂ）、選択したシーケンスの残りの再生時間が閾値PrTmResTh未満であるか否かを判定する（ステップＳ２０８ｂ）。この判定の結果、閾値PrTmResTh未満でない場合は（ステップＳ２０８ｂでＮｏ）、再度ステップＳ２０５ｂまで戻る。一方、閾値PrTmResTh未満である場合は（ステップＳ２０８ｂでＹｅｓ）、ステップＳ２０２ｂへと戻り、次の送信すべきシーケンスの選択処理から繰り返す。
【００３７】
なお、転送部１０６は、これらの処理を行っている途中でユーザによって転送終了の指示が与えられた場合、ＧＯＰの送信中であれば、当該ＧＯＰのデータを全て蓄積サーバへ転送し終えてから、処理を終了する。そうでない場合は、転送部１０６は、ただちに処理を終了する。
【００３８】
次に、ステップＳ２０２ｂの処理について図２Ｂ（ｂ）のフローチャートを用いて詳細に説明する。選択部１０７は、メモリ１０４内にある動画像シーケンスの個数を変数Ｉに設定する（ステップＳ２０２１ｂ）。続いて選択部１０７は、変数ｉに１を、変数MaxPrTimeに０をそれぞれ設定する（ステップＳ２０２２ｂ）。
【００３９】
次に、選択部１０７は、ｉ番目のシーケンスのメモリ１０４内に残された再生時間が変数MaxPrTimeより大きいか否かを判定する（ステップＳ２０２３ｂ）。この判定の結果、変数MaxPrTimeより大きい場合は（ステップＳ２０２３ｂでＹｅｓ）、ステップＳ２０２４ｂへ進み、そうでない場合は（ステップＳ２０２３ｂでＮｏ）、ステップＳ２０２５ｂへと処理を進める。
【００４０】
次に、ステップＳ２０２４ｂにおいて、選択部１０７は、変数MaxPrTimeにｉ番目のシーケンスのメモリ１０４内に残された再生時間を設定し、変数ｊに変数ｉの値を設定する。そして、ステップＳ２０２５ｂにおいて、選択部１０７は、変数ｉの値と変数Ｉの値が等しいか否かを判定する。この判定の結果、等しい場合は（ステップＳ２０２５ｂでＹｅｓ）、ステップＳ２０２７ｂへ進み、そうでない場合は（ステップＳ２０２５ｂでＮｏ）、ステップＳ２０２６ｂへと処理を進める。
【００４１】
次に、ステップＳ２０２６ｂにおいて、選択部１０７は、変数ｉの値を１増加させたのちステップＳ２０２３ｂへと戻り、以降ステップＳ２０２５ｂにおいてＹｅｓの判定がなされるまでステップＳ２０２３ｂ〜ステップＳ２０２６ｂを繰り返す。そして、ステップＳ２０２７ｂにおいて、選択部１０７は、ｊ番目のシーケンスを送信シーケンスとして選択し、処理を終了する。
【００４２】
以上に説明した処理を転送部１０６及び選択部１０７が行うことにより、選択されたシーケンスの最後のＧＯＰから順番に、メモリ１０４の残り記憶容量が所定値MemResTh2より大きくなるまで、蓄積サーバ３０３へ動画像符号化データが転送される。そして、転送された動画像符号化データは、蓄積サーバ３０３が有するサーバメモリ３０４に蓄積される。これにより、たとえ転送部１０６が途中で転送処理を終了しても、シーケンスの後半はサーバメモリ３０４に蓄積され、シーケンスの前半はメモリ１０４に残される。
【００４３】
また、メモリ１０４内に残されているシーケンスのうち、その時点で残りの再生時間が最も長いシーケンスから常に選択的に転送されていく。そのため、ある時点でメモリ１０４に残されたシーケンスを再生する際、メモリ使用量あたりの再生時間をどのシーケンスが選ばれても比較的ばらつくことなく長くすることができる。
【００４４】
なお、本実施形態のデジタルカメラ３０１では、残り記憶容量に応じて、蓄積サーバへの符号化データの送信を続行するか否かの判定（ステップＳ２０５ａ及びＳ２０６ｂ）が行われる。一方、例えば、シーケンス内の未送信のＧＯＰが所定の数に達するまで、蓄積サーバ３０３への動画像符号化データの送信を行ってもよい。この場合は、シーケンスの先頭から所定数のＧＯＰがメモリ１０４に残るので、メモリに残される符号化データの再生時間が保証される。すなわち、この場合はネットワーク３０２上で発生し得る伝送エラーに伴う再生画質の劣化が生じない再生時間が保証される。
【００４５】
また、本実施形態のデジタルカメラ３０１では、転送部１０６は、残り記憶容量が予め設定された所定値MemResTh1以下でなければ（ステップＳ２０１ａ及びＳ２０１ｂでＮｏ）、動画像符号化データを転送しない。一方、残り記憶容量に関らず、撮影を終えたシーケンスに対して常に蓄積サーバへの転送を行ってもよい。
【００４６】
さらに、本実施形態のデジタルカメラ３０１では、ＧＯＰ毎に蓄積サーバ３０３への動画像符号化データの転送を行っていたが、例えば、複数のＧＯＰ毎に転送してもよいし、ピクチャ毎又はスライス毎に蓄積サーバ３０３へ動画像符号化データを転送してもよい。
【００４７】
次に、本実施形態のデジタルカメラ３０１について、図１２に示すフローチャートを用いて、動画像符号化データを再生する時の動作を説明する。図１２は、本実施形態におけるデジタルカメラ３０１による動画像符号化データの再生手順の一例を示すフローチャートである。
図１２において、まず、再生制御部１０９は、ユーザによって選択されたシーケンスの再生を指示されると、対応するシーケンスを構成するＧＯＰを再生順にメモリ１０４から読み出し、復号化部１１０へ出力する（ステップＳ１２０１）。
【００４８】
次に、再生制御部１０９は、再生を終了するか否かを判定する（ステップＳ１２０２）。具体的には、シーケンスを構成する全てのＧＯＰを復号化部へ出力し終えたか、若しくはユーザによって再生を中断する指示が出されたかのいずれかの条件が満たされるとき、再生制御部１０９は処理を終了する。この判定の結果、再生を終了する場合は（ステップＳ１２０２でＹＥＳ）、再生制御部１０９は処理を終了する。
【００４９】
一方、終了しない場合は（ステップＳ１２０２でＮＯ）、再生制御部１０９はシーケンスの後方のＧＯＰが蓄積サーバ３０３に転送されているか否かを判定する（ステップＳ１２０３）。この判定の結果、蓄積サーバ３０３に転送されていない場合は（ステップＳ１２０３でＮＯ）、再生制御部１０９はステップＳ１２０１の処理を再び行う。一方、そうでない場合は（ステップＳ１２０３でＹＥＳ）、再生制御部１０９はメモリ１０４から未だ読み出されていないＧＯＰがＭ個以下であるか否かを判定する（ステップＳ１２０４）。
【００５０】
数値Ｍの具体的な算出方法は特に限定されないが、例えば蓄積サーバ３０３に送信要求を出力してから受信部１０８でデータを受信するまでの時間に復号化されるＧＯＰの個数を基に算出する方法が考えられる。また、図１に図示されない受信バッファの容量を基に算出してもよい。さらに、Ｍがシーケンスを構成する全てのＧＯＰの個数であっても構わない。この場合は、シーケンスの先頭のＧＯＰをメモリ１０４から読み出した後すぐに、蓄積サーバ３０３に送信要求が出力される。
【００５１】
この判定の結果、メモリ１０４から未だ読み出されていないＧＯＰがＭ個以下でない場合は（ステップＳ１２０４でＮＯ）、再生制御部１０９はステップＳ１２０１の処理を再び行う。一方、そうでない場合は（ステップＳ１２０４でＹＥＳ）、再生制御部１０９は蓄積サーバ３０３にＧＯＰの送信を要求する（ステップＳ１２０５）。
【００５２】
蓄積サーバ３０３は、送信要求を受け付けると、サーバメモリ３０４に蓄積されたＧＯＰの中のうち最も再生順の早いものから順番にＧＯＰを送信する。例えば、ＧＯＰ１〜ＧＯＰ１０から構成されるシーケンスのうち、ＧＯＰ５〜ＧＯＰ１０の動画像符号化データがサーバメモリ３０４に蓄積されている場合は、ＧＯＰ５から順番に送信される。
【００５３】
次に、再生制御部１０９は、メモリ１０４に記憶されているＧＯＰを全て読み出し終えたか否かを判定する（ステップＳ１２０６）。この判定の結果、未だ全てのＧＯＰを読み出し終えていない場合は（ステップＳ１２０６でＮＯ）、ステップＳ１２０１の処理を再び行う。一方、全てのＧＯＰをメモリ１０４から読み出し終えた場合は（ステップＳ１２０６でＹＥＳ）、再生制御部１０９は、受信部１０８からＧＯＰを受け取り、復号化部１１０へ出力し（ステップＳ１２０７）、ステップＳ１２０２の処理を再び行う。
【００５４】
なお、本実施形態のデジタルカメラ３０１の再生制御部１０９は、ＧＯＰ単位で動画像データをメモリ１０４から読み出し、蓄積サーバ３０３へ送信要求を出している。一方、ピクチャ単位あるいはスライス単位で動画像符号化データが読み出されてもよいし、送信要求が出されてもよい。
【００５５】
以上に説明したように、本実施形態のデジタルカメラ３０１は、デジタルカメラのメモリに記憶された動画像符号化データについて、蓄積サーバにシーケンスの後ろから順番に転送する。これにより、メモリの残り容量を増やすことができるので、撮影時間を延ばすことができる。また、シーケンスの先頭の動画像符号化データは蓄積サーバよりもデータ読み出し遅延の短いメモリに記憶されているので、再生開始を指示されたときに迅速な再生が可能である。
【００５６】
さらに、本実施形態のデジタルカメラ３０１は、シーケンスの前半がメモリに残るため、ユーザが途中で再生を終了した場合は、ネットワーク上のデータ伝送が動画像データの再生時に発生しない。また、メモリに残された動画像データを再生する際、どの動画像データを選んでもメモリ使用量あたりの再生時間を比較的ばらつくことなく長くすることができる。
【００５７】
さらに、本実施形態のデジタルカメラ３０１は、蓄積サーバへの転送を中断した場合、メモリに残る動画像データの再生時間が長くなるため、ネットワーク上で発生し得る伝送エラーの影響を受けずに再生可能な時間を延ばすことができる。
【００５８】
（第２の実施形態）
本実施形態の画像送信装置の構成について、図４及び図５を参照しながら説明する。図４は、本実施形態におけるデジタルカメラ４０１を用いたシステムの一例を示す図である。
図４において、４０１は動画像を撮影するデジタルカメラであり、４０６は動画像データを蓄積及び表示する機能を持つローカル蓄積サーバである。デジタルカメラ４０１はネットワーク４０２を介してローカル蓄積サーバ４０６へ接続されており、ローカル蓄積サーバ４０６はネットワーク４０２を介して、蓄積サーバ４０３へ接続されている。また、蓄積サーバ４０３は大容量のサーバメモリ４０４を備えている。
【００５９】
図５は、本実施形態のデジタルカメラ（画像送信装置）４０１及びローカル蓄積サーバ４０６の内部構成例を示すブロック図である。
図５において、５０５は、デジタルカメラ４０１を制御するとともに、動画像符号化データを復号化してモニタ５０６に表示するパーソナルコンピュータ（ＰＣ）である。なお、本実施形態では、メモリとしてＨＤＤ５０７が用いているが、例えばフラッシュメモリなどを用いてもよい。
【００６０】
５０１は動画像データを撮像する撮像部であり、５０２は撮像された動画像データを符号化し、動画像符号化データを出力する符号部である。５０３は、ネットワーク４０２を介して動画像符号化データをＰＣ５０５に出力する出力部である。また、５０４は、ネットワーク４０２を介してＰＣ５０５から撮影開始、撮影終了、パン・チルト・ズームなどの種々のカメラ制御に関する指示を受け、撮像部５０１、符号化部５０２、及び出力部５０３を制御する撮影制御部である。
【００６１】
次に、本実施形態のデジタルカメラ４０１の動作を詳細に説明する。ＰＣ５０５は、ユーザから撮影開始の操作を受け付けると、撮影制御部５０４に対して撮影開始の指示を出す。撮影制御部５０４は、撮像部５０１、符号化部５０２及び出力部５０３に対し、動作の開始を指示する。これにより、出力部５０３からネットワーク４０２を介して動画像符号化データがＰＣ５０５に出力され、ＰＣ５０５は、出力部５０３から出力された動画像符号化データをＨＤＤ５０７に記憶する。また、ＰＣ５０５は、ユーザから撮影終了の操作を受け付けると、撮影制御部５０４に対して撮影終了の指示を出す。
【００６２】
ＰＣ５０５は、ＨＤＤ５０７の残り記憶容量を常に監視している。そして、残り記憶容量が所定値に以下になった場合、第１の実施形態と同様に図２Ａもしくは図２Ｂに示した処理を行う。
【００６３】
次に、本実施形態の画像送信装置が、動画像符号化データを再生する時の動作を説明する。
ＰＣ５０５は、ユーザが選択したシーケンスに対する再生開始の操作を受け付けると、選択されたシーケンスの先頭のＧＯＰから順番に、ＨＤＤ５０７から動画像符号化データを読み出す。さらに、ＰＣ５０５はＨＤＤ５０７から読み出した動画像符号化データに対する復号化処理を行い、復号化された動画像をモニタ５０６に出力する。
【００６４】
ＨＤＤ５０７に記憶されている動画像符号化データが残り少なくなると、ＰＣ５０５は、蓄積サーバ４０３に対して当該シーケンスの送信要求を出力する。蓄積サーバ４０３は送信要求を受け付けると、サーバメモリ４０４に蓄積された動画像符号化データのうち、最も再生順の早いＧＯＰから順番に送信する。ＰＣ５０５は、ＨＤＤ５０７に記憶されているＧＯＰを全て復号化し終えた後、蓄積サーバ４０３から送信された動画像符号化データを受信し、復号化処理を行なってモニタ５０６へ出力する。
【００６５】
なお、図６に示すように、デジタルカメラ６０１とＰＣ６０５とが直接接続されている形態でもよい。また、図６において、デジタルカメラ６０１の内部では動画像データに対する符号化処理を行わず、ＰＣ６０５で符号化処理を行ってもよい。
【００６６】
以上に説明したように、本実施形態のデジタルカメラは、動画像符号化データについて、ＨＤＤから蓄積サーバにシーケンスの後ろから順番に転送することにより、ＨＤＤの残り容量を増やすことができる。これにより、撮影時間を延ばすことができる。また、シーケンスの前半の動画像符号化データは蓄積サーバよりもデータ読み出し遅延の短いＨＤＤに記憶されているので、ユーザによって再生開始を指示されたときに迅速な再生が可能とある。
【００６７】
さらに、シーケンスの前半はＨＤＤに残されているため、ユーザが途中で再生を終了した場合は、ネットワーク上のデータ伝送が動画像データの再生時に発生しない。また、ＨＤＤに残された動画像データを再生する際、どの動画像データを選んでもＨＤＤ使用量あたりの再生時間を比較的ばらつくことなく長くすることができる。さらに、蓄積サーバへの転送を中断した場合、ＨＤＤに残る動画像データの再生時間が長くなるため、ネットワーク上で発生し得る伝送エラーの影響を受けずに再生可能な時間を延ばすことができる。
【００６８】
（第３の実施形態）
本実施形態の画像送信装置の構成について、図７及び図９を参照しながら説明する。図７は、本実施形態のレコーダ８０１を含むシステムの一例を示す図である。
図７において、８０１は、放送局８０６から送信される動画像データを蓄積するレコーダであり、８０５は、放送局８０６から送信される動画像データまたはレコーダ８０１に蓄積されている動画像データを表示するディスプレイである。レコーダ８０１はネットワーク８０２を介して、蓄積サーバ８０３へ接続されており、蓄積サーバ８０３は大容量のサーバメモリ８０４を備える。
【００６９】
図９は、本実施形態におけるレコーダ（画像送信装置）８０１の内部構成例を示すブロック図である。
図９において、９０１は放送局から送信される動画像データを受信する受信部であり、９０２は、受信部９０１で受信された動画像データを符号化する符号化部である。なお、予め符号化された動画像データが放送局８０６から送信される場合は、符号化処理は行われない。
【００７０】
９０３は、動画像符号化データをＨＤＤ９０４に記憶させ、ＨＤＤ９０４の残り容量に応じて蓄積サーバ８０３に動画像符号化データを転送させる送信部であり、９０４は動画像符号化データを記憶するＨＤＤである。なお、本実施形態ではメモリとしてＨＤＤ９０４が用いられているが、例えばフラッシュメモリなどを用いてもよい。
【００７１】
９０５はＨＤＤ９０４の残り記憶容量を検出する記憶容量検出部であり、９０６はＨＤＤ９０４または蓄積サーバ８０３から動画像符号化データを読み出し、復号化部９０７へ出力する再生制御部である。９０７は動画像符号化データを復号化する復号化部であり、受信部９０１で受信した動画像符号化データをリアルタイムで表示する場合は、復号化部９０７は受信部９０１から出力される動画像符号化データを復号化する。また、ＨＤＤ９０４に記憶された動画像符号化データを再生したい場合は、復号化部９０７は再生制御部９０６から出力される動画像符号化データを復号化する。
【００７２】
８０５は動画像を表示するディスプレイであり、放送局８０６から送信された符号化されていない動画像データを表示する場合は、ディスプレイ８０５は受信部９０１から出力された動画像データを表示する。一方、そうでない場合は、ディスプレイ８０５は復号化部９０７から出力された動画像データを表示する。
【００７３】
次に、本実施形態のレコーダ８０１の動作について詳細に説明する。
送信部９０３は、ユーザから指示を受けると、符号化部９０２または受信部９０１から出力された動画像符号化データをＨＤＤ９０４に記憶する。送信部９０３は、図１３に示すように、シーケンスを構成する各々のＧＯＰ（Group Of Picture）の符号化データの先頭位置情報もＨＤＤ９０４に記憶する。送信部９０３は、記憶容量検出部９０５から得られるＨＤＤ９０４の残りデータ量に基づいて、第１の実施形態と同様に、図２Ａもしくは図２Ｂに示した処理を行う。
【００７４】
次に、本実施形態のレコーダ８０１が、動画像データを再生する時の動作を説明する。
再生制御部９０６は、ユーザが選択したシーケンスに対する再生を開始すると、対応するシーケンスをＨＤＤ９０４から読み出し、復号化部９０７へ出力する。ＨＤＤ９０４に記憶されているシーケンスの後方が蓄積サーバ８０３へ転送されており、且つＨＤＤ９０４から読み出しを終えていないＧＯＰが少なくなると、再生制御部９０６は、蓄積サーバ８０３に対して当該シーケンスの送信要求を出力する。
【００７５】
蓄積サーバ８０３は、送信要求を受け付けると、蓄積されたＧＯＰの中うち最も再生順の早いものから順番にＧＯＰを送信する。そして、再生制御部９０６は、ＨＤＤ９０４に記憶されているＧＯＰの符号化データを全て復号化部９０７へ出力し終えると、蓄積サーバ８０３から送信された動画像符号化データを復号化部９０７へ出力する。
【００７６】
なお、本実施形態において、レコーダ８０１は、符号化部９０２を備えているが、放送局８０６から符号化された動画像データしか送信されない場合は、図１０に示すように、符号化部を備えなくてもよい。さらに、図８に示すように、レコーダ７０１は、放送局７０６からネットワーク７０２を介して動画像データを受信してもよい。また、放送局８０６から符号化されていない動画像データが送信され、且つＨＤＤ９０４が比較的大容量の場合は、図１１に示すように、符号化部及び復号化部を備えなくてもよい。
【００７７】
以上に説明したように、本実施形態のレコーダ８０１は、動画像符号化データについて、ＨＤＤから蓄積サーバにシーケンスの後ろから順番に転送することにより、ＨＤＤの残り容量を増やすことができる。これにより、ＨＤＤへの記録時間を延ばすことができる。また、シーケンスの前半の動画像符号化データは蓄積サーバよりもデータ読み出し遅延の短いＨＤＤに記憶されているので、ユーザによって再生開始を指示されたときに迅速な再生が可能である。
【００７８】
さらに、シーケンスの前半はＨＤＤに残されているため、ユーザが途中で再生を終了した場合は、ネットワーク上のデータ伝送が動画像データの再生時に発生しないようにすることができる。また、ＨＤＤに残された動画像データを再生する際、どの動画像データを選んでもＨＤＤ使用量あたりの再生時間を比較的ばらつくことなく長くすることができる。さらに、蓄積サーバへの転送を中断した場合、ＨＤＤに残る動画像データの再生時間が長くなるため、ネットワーク上で発生し得る伝送エラーの影響を受けずに再生できる時間を延ばすことができる。
【００７９】
（本発明に係る他の実施形態）
前述した本発明の実施形態における画像送信装置を構成する各手段、並びに画像送信方法の各工程は、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記録（記憶）したコンピュータ読み取り可能な記録媒体（記憶媒体）は本発明に含まれる。
【００８０】
また、本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体（記憶媒体）等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。
【００８１】
なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図２Ａ、図２Ｂ、図１２に示すフローチャートに対応したプログラム）を、システムまたは装置に直接、または遠隔から供給する場合も含む。そして、そのシステムまたは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。
【００８２】
したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【００８３】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。
【００８４】
プログラムを供給するための記録媒体（記憶媒体）としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどがある。さらに、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ）などもある。
【００８５】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する方法がある。そして、前記ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体（記憶媒体）にダウンロードすることによっても供給できる。
【００８６】
また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
【００８７】
また、その他の方法として、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記録媒体（記憶媒体）に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【００８８】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。さらに、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
【００８９】
さらに、その他の方法として、まず記録媒体（記憶媒体）から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。そして、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。
【図面の簡単な説明】
【００９０】
【図１】本発明の第１の実施形態のデジタルカメラ（画像送信装置）の内部構成例を示すブロック図である。
【図２Ａ】本発明の第１の実施形態のデジタルカメラによる転送処理手順の一例を示すフローチャートである。
【図２Ｂ】本発明の第１の実施形態のデジタルカメラによる転送処理手順の他の例を示すフローチャートである。
【図３】本発明の第１の実施形態におけるデジタルカメラを用いたシステムの一例を示す図である。
【図４】本発明の第２の実施形態におけるデジタルカメラを用いたシステムの一例を示す図である。
【図５】本発明の第２の実施形態のデジタルカメラ（画像送信装置）及びローカル蓄積サーバの内部構成例を示すブロック図である。
【図６】本発明の第２の実施形態におけるデジタルカメラを用いたシステムの他の例を示す図である。
【図７】本発明の第３の実施形態のレコーダを用いたシステムの一例を示す図である。
【図８】本発明の第３の実施形態のレコーダを用いたシステムの他の例を示す図である。
【図９】本発明の第３の実施形態におけるレコーダの内部構成例を示すブロック図である。
【図１０】本発明の第３の実施形態におけるレコーダの内部構成の他の例を示すブロック図である。
【図１１】本発明の第３の実施形態におけるレコーダの内部構成のその他の例を示すブロック図である。
【図１２】本発明の第１の実施形態におけるデジタルカメラによる動画像符号化データの再生手順の一例を示すフローチャートである。
【図１３】ＧＯＰ先頭位置情報を格納したテーブルの例を示す図である。
【図１４】Ｈ．２６４符号化方式でＧＯＰに相当するピクチャ群の例を示す図である。
【図１５】動画像符号化データの構成要素を表す図である。
【符号の説明】
【００９１】
１０１ 撮像部
１０２ 符号化部
１０３ 記憶制御部
１０４ メモリ
１０５ 記憶容量検出部
１０６ 転送部
１０７ 選択部
１０８ 受信部
１０９ 再生制御部
１１０ 復号化部
１１１ 表示部
３０１ デジタルカメラ
３０２ ネットワーク
３０３ 蓄積サーバ
３０４ サーバメモリ
【技術分野】
【０００１】
本発明は画像送信装置、画像送信方法及びプログラムに関し、特に、動画像データを画像蓄積サーバに転送するために用いて好適な技術に関する。
【背景技術】
【０００２】
従来、通信機能を備えたデジタルカメラやカメラ付き携帯電話で撮影した画像データを、公衆回線を介して画像蓄積サーバに転送する画像送信装置が知られている（例えば、特許文献１〜３参照）。これらの画像送信装置によれば、デジタルカメラやカメラ付き携帯電話のメモリが画像データで一杯になったときでも、その画像データを画像蓄積サーバに転送することでメモリに空きを作ることができる。これにより、メモリの空きがなくなり撮影ができなくなるという不具合を解消することができる。また、デジタルカメラやカメラ付き携帯電話のメモリ搭載量を少なくすることができるという利点がある。
【０００３】
【特許文献１】特開平１１−１４６２２４号公報
【特許文献２】特開２００１−１２８１１３号公報
【特許文献３】特開２００４−３４３３２８号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
しかしながら、従来の画像送信装置は、静止画像データのみを対象としており、動画像データに適したシステムが存在しなかった。動画像データを対象とする画像送信装置では、メモリに空きを作るだけでなく、さらに動画像データを読み出して再生を開始するまでの遅延時間を短くする必要がある。また、メモリから読み出して再生されるべき動画像データのメモリ使用量あたりの再生時間は、どの動画像データを選んでもばらつきなく長い方が望ましい。
【０００５】
本発明は前述の問題点に鑑み、動画像データを画像蓄積サーバに転送でき、且つ動画像データを迅速に再生することができ、メモリ使用量あたりの再生時間が長い画像送信装置、画像送信方法及びプログラムを提供することを目的としている。
【課題を解決するための手段】
【０００６】
本発明の画像送信装置は、複数の動画像シーケンスをメモリに記憶する記憶制御手段と、前記メモリに記憶された複数の動画像シーケンスから１つの動画像シーケンスを選択する選択手段と、前記選択手段より選択された動画像シーケンスの動画像データのうち、最後に再生されるべき動画像データから、動画像データを蓄積するための外部装置へ転送する転送手段とを備え、前記選択手段は、前記メモリに記憶された複数の動画像シーケンスのビットレートに基づいて選択することを特徴とする。
【０００７】
本発明の画像送信方法は、複数の動画像シーケンスをメモリに記憶する記憶制御工程と、前記メモリに記憶された複数の動画像シーケンスのうち、一つの動画像シーケンスを選択する選択工程と、前記選択工程において選択された動画像シーケンスの動画像データのうち、最後に再生されるべき動画像データから順に、動画像データを蓄積するための外部装置へ転送する転送工程とを備え、前記選択工程においては、前記メモリに記憶された複数の動画像シーケンスのビットレートに基づいて選択することを特徴とする。
【０００８】
本発明のプログラムは、前記画像送信方法の各工程をコンピュータに実行させることを特徴とする。
【発明の効果】
【０００９】
本発明によれば、動画像データに対する再生遅延時間を短くすることができる。また、メモリに残された動画像データを再生する際、どの動画像データを選んでもメモリ使用量あたりの再生時間を比較的ばらつくことなく長くすることができる。
【発明を実施するための最良の形態】
【００１０】
（第１の実施形態）
以下、本発明の第１の実施形態の画像送信装置の構成について、図１及び図３を参照して説明する。図３は、本実施形態におけるデジタルカメラ３０１を用いたシステムの一例を示す図である。
図３において、３０１は動画像データを撮影するデジタルカメラであり、デジタルカメラ３０１はネットワーク３０２を介して蓄積サーバ３０３に接続されている。蓄積サーバ３０３は大容量のサーバメモリ３０４を備える。
【００１１】
図１は、本実施形態のデジタルカメラ（画像送信装置）３０１の内部構成例を示すブロック図である。
図１において、１０１は動画像データを撮像する撮像部である。１０２は撮像された動画像データを符号化し、動画像符号化データを出力する符号部である。本実施形態のデジタルカメラ３０１では、符号化方式としてＭＰＥＧ−２を想定しているが、他の符号化方式を用いてもよく、例えば、Motion-JPEGやＨ．２６４といった符号化方式で符号化してもよい。さらに、符号化を行わず、動画像データをそのまま出力してもかまわない。
【００１２】
１０３は、メモリ１０４へ動画像符号化データを記憶させる記憶制御部であり、１０４は、動画像符号化データを記憶するメモリである。メモリ１０４はＳＤカードのように着脱可能な媒体であってもよいし、デジタルカメラ内蔵のフラッシュメモリのように着脱不可能であってもよい。また、メモリ１０４はＨＤＤ（Hard Disk Drive）であってもよい。
【００１３】
１０５は、メモリ１０４に記憶された動画像符号化データのデータ量を検出する記憶容量検出部であり、１０７は、転送すべき一つの動画像シーケンスを選択する選択部である。１０６は、ネットワーク３０２を介して符号化データを蓄積サーバ３０３に転送する転送部である。
【００１４】
１０８は、ネットワーク３０２を介して蓄積サーバ３０３から送信される動画像符号化データを受信する受信部である。また、受信部１０８は蓄積サーバ３０３から送信される動画像符号化データを一時的に保持する不図示の受信バッファを備えている。１０９は、外部から再生の指示が与えられると、メモリ１０４から動画像符号化データを読み出し、受信部１０８から動画像符号化データを受け取る再生制御部である。１１０は、再生制御部１０９から出力される動画像符号化データを復号化する復号化部である。１１１は、復号化された動画像データを表示する表示部である。
【００１５】
なお、本実施形態のデジタルカメラ３０１は、符号化部１０２及び復号化部１１０を備えるが、本発明はこれに限定されるものではなく、動画像データに対する符号化処理及び復号化処理が行われなくてもよい。
【００１６】
ここで、動画像符号化データの構成要素を説明する。動画像符号化データは図１５に示すように、シーケンス、ＧＯＰ（Group Of Picture）、ピクチャ、スライスという要素から構成される。シーケンスとは、撮影開始から終了までの一連のＧＯＰ（Group Of Picture）の連なりである。ＧＯＰ（Group Of Picture）とは、シーケンスを構成する要素であり、複数のピクチャから構成される。図１５において、Ｉはフレーム内符号化ピクチャを表し、Ｐは前方向予測符号化ピクチャを表し、Ｂは双方向予測符号化ピクチャ表す。
【００１７】
一般的には、ＧＯＰはフレーム内符号化ピクチャで区切られる一連のピクチャ群とされ、動画像符号化データに対するランダムアクセス可能な単位となっている。ピクチャは１つ以上のスライスから構成される。なお、Ｈ．２６４ではＧＯＰと呼ばれる動画像符号化データ構成要素は存在しないが、図１４に示すようにＩＤＲ（Instantaneous Decoding Refresh）ピクチャで区切られる一連のピクチャ群をＧＯＰとして扱うものとする。
【００１８】
次に、本実施形態の画像送信装置の動作について詳細に説明する。
記憶制御部１０３は、ユーザから指示を受けると、符号化部１０２から出力された動画像符号化データをメモリ１０４に記憶させる。記憶制御部１０３は、図１３に示すように、シーケンスを構成する各々のＧＯＰの先頭位置情報もメモリ１０４に記憶する。なお、一連のシーケンスの符号化を終了した後に、当該シーケンスを構成する各々のＧＯＰの先頭位置をメモリ１０４に記憶してもよい。さらに、記憶制御部１０３は、ＧＯＰではなく各々のピクチャの先頭位置情報をメモリ１０４に記憶してもよい。
【００１９】
転送部１０６は、記憶容量検出部１０５から得られるメモリ１０４の残りデータ量と、記憶制御部１０３によって記憶されたＧＯＰの先頭位置情報とに基づいて、蓄積サーバ３０３に符号化データを転送する。
【００２０】
転送部１０６における好適な処理例の詳細を、図２Ａを用いて説明する。図２Ａは、本実施形態のデジタルカメラ３０１による転送処理手順の一例を示すフローチャートである。
まず、図２Ａ（ａ）において、転送部１０６は、残り記憶容量が予め設定された所定値MemResTh1以上であるか否かを判定する（ステップＳ２０１ａ）。この判定の結果、残り記憶容量が所定値MemResTh1以下でない場合は（ステップＳ２０１ａでＮｏ）、処理を終了する。一方、残り記憶容量が所定値MemResTh1以下である場合は（ステップＳ２０１ａでＹｅｓ）、ステップＳ２０２ａへ処理を進める。
【００２１】
次に、選択部１０７は、符号化部１０２から得られる各動画像シーケンスの情報と、記憶制御部１０３によって記憶されたＧＯＰの先頭位置情報とに基づいて、以下のステップＳ２０２ａに示す処理を行う。まず、メモリ１０４に記憶されている動画像シーケンスの中から、１つの動画像シーケンスを選択する（ステップＳ２０２ａ）。なお、この選択処理についての詳細は後述する。そして、転送部１０６は、選択されたシーケンス内のＧＯＰの個数を変数Ｎに設定する（ステップＳ２０３ａ）。
【００２２】
次に、転送部１０６は、記憶制御部１０３によって記憶された図１３に示すようなＧＯＰの先頭位置情報に基づいて、シーケンス内のＮ個目のＧＯＰ符号化データを読み出し、蓄積サーバ３０３へ転送する（ステップＳ２０４ａ）。なお、転送されたＧＯＰ符号化データはメモリ１０４から削除される。ここで、ＮがＧＯＰの個数に等しい場合は、シーケンス内の最後のＧＯＰが送信されることになる。
【００２３】
次に、記憶制御部１０３は、残り記憶容量が予め設定された所定値MemResTh2以下であるか否かを判定する（ステップＳ２０５ａ）。この判定の結果、残り記憶容量が所定値MemResTh2以下でない場合は（ステップＳ２０５ａでＮｏ）、処理を終了する。一方、残り記憶容量が所定値MemResTh2以下である場合は（ステップＳ２０５ａでＹｅｓ）、ステップＳ２０６ａへ処理を進める。ここで、通常所定値MemResTh2は所定値MemResTh1よりも大きい値が設定される。
【００２４】
次に、転送部１０６は、Ｎの値を１減らして（ステップＳ２０６ａ）、Ｎが０であるか否かを判定する（ステップＳ２０７ａ）。Ｎが０でない場合は（ステップＳ２０７ａでＮｏ）、再度ステップＳ２０４ａまで戻る。一方、Ｎが０である場合は（ステップＳ２０７ａでＹｅｓ）、ステップＳ２０２ａへと戻り、次の送信すべきシーケンスの選択処理から繰り返す。
【００２５】
なお、転送部１０６は、これらの処理を行っている途中でユーザによって転送終了の指示が与えられた場合、ＧＯＰの送信中であれば、当該ＧＯＰのデータを全て蓄積サーバへ転送し終えてから、処理を終了する。そうでない場合は、転送部１０６は、ただちに処理を終了する。
【００２６】
次に、ステップＳ２０２ａの処理について図２Ａ（ｂ）のフローチャート用いて詳細に説明する。選択部１０７は、メモリ１０４内にある動画像シーケンスの個数を変数Ｉに設定する（ステップＳ２０２１ａ）。続いて選択部１０７は、変数ｉに１を、変数MaxBitRateに０をそれぞれ設定する（ステップＳ２０２２ａ）。
【００２７】
次に、選択部１０７は、符号化部１０２から得たｉ番目のシーケンスのビットレートが変数MaxBitRateより大きいか否かを判定する（ステップＳ２０２３ａ）。この判定の結果、検出結果が変数MaxBitRateより大きい場合は（ステップＳ２０２３ａでＹｅｓ）、ステップＳ２０２４ａへ進み、そうでない場合は（ステップＳ２０２３ａでＮｏ）、ステップＳ２０２５ａへと処理を進める。ステップ２０２４ａにおいて選択部１０７は、変数MaxBitRateにｉ番目のシーケンスのビットレートを設定し、変数ｊに変数ｉの値を設定する。
【００２８】
また、ステップＳ２０２５ａにおいて、選択部１０７は、変数ｉの値と変数Ｉの値が等しいないか否かを判定する。この判定の結果、等しい場合は（ステップＳ２０２５ａでＹｅｓ）ステップＳ２０２７ａへ進み、等しくない場合は（ステップＳ２０２５ａでＮｏ）、ステップＳ２０２６ａへと処理を進める。
【００２９】
次に、ステップＳ２０２６ａにおいて、選択部１０７は、変数ｉの値を１増加させたのちステップＳ２０２３ａへと戻り、以降ステップＳ２０２５ａにおいてＹｅｓの判定がなされるまでステップＳ２０２３ａ〜Ｓ２０２６ａを繰り返す。ステップＳ２０２７ａにおいて選択部１０７は、ｊ番目のシーケンスを送信シーケンスとして選択し、処理を終了する。
【００３０】
以上に説明した処理を転送部１０６及び選択部１０７が行うことにより、選択されたシーケンスの最後のＧＯＰから順番に、メモリ１０４の残り記憶容量が所定値MemResTh2より大きくなるまで、蓄積サーバ３０３へ動画像符号化データが転送される。そして、転送された動画像符号化データは、蓄積サーバ３０３が有するサーバメモリ３０４に蓄積される。これにより、たとえ転送部１０６が途中で転送処理を終了しても、シーケンスの後半はサーバメモリ３０４に蓄積され、シーケンスの前半はメモリ１０４に残される。
【００３１】
また、ビットレートの高いシーケンスから優先的に転送されるので、メモリ１０４には比較的ビットレートの低いシーケンスが残る。そのためメモリ１０４に残されたシーケンスを再生するときでも、どのシーケンスが選ばれてもメモリ使用量あたりの再生時間を比較的ばらつくことなく長くすることができる。
【００３２】
さらに、転送部１０６におけるその他の好適な処理例の詳細を、図２Ｂを用いて説明する。図２Ｂは、本実施形態のデジタルカメラ３０１による転送処理手順の他の例を示すフローチャートである。
まず、図２Ｂ（ａ）において、転送部１０６は、変数PrTmResThに０を設定する（ステップＳ２００ｂ）。次に、転送部１０６は、残り記憶容量が予め設定された所定値MemResTh1以上であるか否かを判定する（ステップＳ２０１ｂ）。この判定の結果、残り記憶容量が所定値MemResTh1以下でない場合は（ステップＳ２０１ｂでＮｏ）、処理を終了する。一方、残り記憶容量が所定値MemResTh1以下である場合は（ステップＳ２０１ｂでＹｅｓ）、ステップＳ２０２ｂへ処理を進める。
【００３３】
次に、選択部１０７は、符号化部１０２から得られる各動画像シーケンスの情報と、記憶制御部１０３によって記憶されたＧＯＰの先頭位置情報とに基づいて、以下に示す処理を行う。ステップＳ２０２ｂにおいては、メモリ１０４に記憶されている動画像シーケンスの中から、一つの動画像シーケンスが選択されるが、詳細は後述する。そして、転送部１０６は、ステップＳ２０２ｂにおいて選択されなかったシーケンスのうち、残り再生時間が最も長いシーケンスの残り再生時間を閾値PrTmResThに設定する（ステップＳ２０３ｂ）。
【００３４】
次に、転送部１０６は、ステップＳ２０２ｂにおいて選択されたシーケンス内のＧＯＰの個数を変数Ｎに設定する（ステップＳ２０４ｂ）。そして、転送部１０６は、記憶制御部１０３によって記憶された図１３に示すようなＧＯＰの先頭位置情報に基づいて、シーケンス内のＮ個目のＧＯＰ符号化データを読み出し、蓄積サーバ３０３へ転送する（ステップＳ２０５ｂ）。なお、転送されたＧＯＰ符号化データはメモリから削除される。ここで、ＮがＧＯＰの個数に等しい場合は、シーケンス内の最後のＧＯＰが送信されることになる。
【００３５】
次に、記憶制御部１０３は、残り記憶容量が予め設定された所定値MemResTh2以上であるか否かを判定する（ステップＳ２０６ｂ）。この判定の結果、残り記憶容量が所定値MemResTh2以下でない場合は（ステップＳ２０６ｂでＮｏ）、処理を終了する。一方、残り記憶容量が所定値MemResTh2以下である場合は（ステップＳ２０６ｂでＹｅｓ）、ステップＳ２０７ｂへ処理を進める。ここで、通常所定値MemResTh2は所定値MemResTh1よりも大きい値が設定される。
【００３６】
次に、転送部１０６は、Ｎの値を１減らして（ステップＳ２０７ｂ）、選択したシーケンスの残りの再生時間が閾値PrTmResTh未満であるか否かを判定する（ステップＳ２０８ｂ）。この判定の結果、閾値PrTmResTh未満でない場合は（ステップＳ２０８ｂでＮｏ）、再度ステップＳ２０５ｂまで戻る。一方、閾値PrTmResTh未満である場合は（ステップＳ２０８ｂでＹｅｓ）、ステップＳ２０２ｂへと戻り、次の送信すべきシーケンスの選択処理から繰り返す。
【００３７】
なお、転送部１０６は、これらの処理を行っている途中でユーザによって転送終了の指示が与えられた場合、ＧＯＰの送信中であれば、当該ＧＯＰのデータを全て蓄積サーバへ転送し終えてから、処理を終了する。そうでない場合は、転送部１０６は、ただちに処理を終了する。
【００３８】
次に、ステップＳ２０２ｂの処理について図２Ｂ（ｂ）のフローチャートを用いて詳細に説明する。選択部１０７は、メモリ１０４内にある動画像シーケンスの個数を変数Ｉに設定する（ステップＳ２０２１ｂ）。続いて選択部１０７は、変数ｉに１を、変数MaxPrTimeに０をそれぞれ設定する（ステップＳ２０２２ｂ）。
【００３９】
次に、選択部１０７は、ｉ番目のシーケンスのメモリ１０４内に残された再生時間が変数MaxPrTimeより大きいか否かを判定する（ステップＳ２０２３ｂ）。この判定の結果、変数MaxPrTimeより大きい場合は（ステップＳ２０２３ｂでＹｅｓ）、ステップＳ２０２４ｂへ進み、そうでない場合は（ステップＳ２０２３ｂでＮｏ）、ステップＳ２０２５ｂへと処理を進める。
【００４０】
次に、ステップＳ２０２４ｂにおいて、選択部１０７は、変数MaxPrTimeにｉ番目のシーケンスのメモリ１０４内に残された再生時間を設定し、変数ｊに変数ｉの値を設定する。そして、ステップＳ２０２５ｂにおいて、選択部１０７は、変数ｉの値と変数Ｉの値が等しいか否かを判定する。この判定の結果、等しい場合は（ステップＳ２０２５ｂでＹｅｓ）、ステップＳ２０２７ｂへ進み、そうでない場合は（ステップＳ２０２５ｂでＮｏ）、ステップＳ２０２６ｂへと処理を進める。
【００４１】
次に、ステップＳ２０２６ｂにおいて、選択部１０７は、変数ｉの値を１増加させたのちステップＳ２０２３ｂへと戻り、以降ステップＳ２０２５ｂにおいてＹｅｓの判定がなされるまでステップＳ２０２３ｂ〜ステップＳ２０２６ｂを繰り返す。そして、ステップＳ２０２７ｂにおいて、選択部１０７は、ｊ番目のシーケンスを送信シーケンスとして選択し、処理を終了する。
【００４２】
以上に説明した処理を転送部１０６及び選択部１０７が行うことにより、選択されたシーケンスの最後のＧＯＰから順番に、メモリ１０４の残り記憶容量が所定値MemResTh2より大きくなるまで、蓄積サーバ３０３へ動画像符号化データが転送される。そして、転送された動画像符号化データは、蓄積サーバ３０３が有するサーバメモリ３０４に蓄積される。これにより、たとえ転送部１０６が途中で転送処理を終了しても、シーケンスの後半はサーバメモリ３０４に蓄積され、シーケンスの前半はメモリ１０４に残される。
【００４３】
また、メモリ１０４内に残されているシーケンスのうち、その時点で残りの再生時間が最も長いシーケンスから常に選択的に転送されていく。そのため、ある時点でメモリ１０４に残されたシーケンスを再生する際、メモリ使用量あたりの再生時間をどのシーケンスが選ばれても比較的ばらつくことなく長くすることができる。
【００４４】
なお、本実施形態のデジタルカメラ３０１では、残り記憶容量に応じて、蓄積サーバへの符号化データの送信を続行するか否かの判定（ステップＳ２０５ａ及びＳ２０６ｂ）が行われる。一方、例えば、シーケンス内の未送信のＧＯＰが所定の数に達するまで、蓄積サーバ３０３への動画像符号化データの送信を行ってもよい。この場合は、シーケンスの先頭から所定数のＧＯＰがメモリ１０４に残るので、メモリに残される符号化データの再生時間が保証される。すなわち、この場合はネットワーク３０２上で発生し得る伝送エラーに伴う再生画質の劣化が生じない再生時間が保証される。
【００４５】
また、本実施形態のデジタルカメラ３０１では、転送部１０６は、残り記憶容量が予め設定された所定値MemResTh1以下でなければ（ステップＳ２０１ａ及びＳ２０１ｂでＮｏ）、動画像符号化データを転送しない。一方、残り記憶容量に関らず、撮影を終えたシーケンスに対して常に蓄積サーバへの転送を行ってもよい。
【００４６】
さらに、本実施形態のデジタルカメラ３０１では、ＧＯＰ毎に蓄積サーバ３０３への動画像符号化データの転送を行っていたが、例えば、複数のＧＯＰ毎に転送してもよいし、ピクチャ毎又はスライス毎に蓄積サーバ３０３へ動画像符号化データを転送してもよい。
【００４７】
次に、本実施形態のデジタルカメラ３０１について、図１２に示すフローチャートを用いて、動画像符号化データを再生する時の動作を説明する。図１２は、本実施形態におけるデジタルカメラ３０１による動画像符号化データの再生手順の一例を示すフローチャートである。
図１２において、まず、再生制御部１０９は、ユーザによって選択されたシーケンスの再生を指示されると、対応するシーケンスを構成するＧＯＰを再生順にメモリ１０４から読み出し、復号化部１１０へ出力する（ステップＳ１２０１）。
【００４８】
次に、再生制御部１０９は、再生を終了するか否かを判定する（ステップＳ１２０２）。具体的には、シーケンスを構成する全てのＧＯＰを復号化部へ出力し終えたか、若しくはユーザによって再生を中断する指示が出されたかのいずれかの条件が満たされるとき、再生制御部１０９は処理を終了する。この判定の結果、再生を終了する場合は（ステップＳ１２０２でＹＥＳ）、再生制御部１０９は処理を終了する。
【００４９】
一方、終了しない場合は（ステップＳ１２０２でＮＯ）、再生制御部１０９はシーケンスの後方のＧＯＰが蓄積サーバ３０３に転送されているか否かを判定する（ステップＳ１２０３）。この判定の結果、蓄積サーバ３０３に転送されていない場合は（ステップＳ１２０３でＮＯ）、再生制御部１０９はステップＳ１２０１の処理を再び行う。一方、そうでない場合は（ステップＳ１２０３でＹＥＳ）、再生制御部１０９はメモリ１０４から未だ読み出されていないＧＯＰがＭ個以下であるか否かを判定する（ステップＳ１２０４）。
【００５０】
数値Ｍの具体的な算出方法は特に限定されないが、例えば蓄積サーバ３０３に送信要求を出力してから受信部１０８でデータを受信するまでの時間に復号化されるＧＯＰの個数を基に算出する方法が考えられる。また、図１に図示されない受信バッファの容量を基に算出してもよい。さらに、Ｍがシーケンスを構成する全てのＧＯＰの個数であっても構わない。この場合は、シーケンスの先頭のＧＯＰをメモリ１０４から読み出した後すぐに、蓄積サーバ３０３に送信要求が出力される。
【００５１】
この判定の結果、メモリ１０４から未だ読み出されていないＧＯＰがＭ個以下でない場合は（ステップＳ１２０４でＮＯ）、再生制御部１０９はステップＳ１２０１の処理を再び行う。一方、そうでない場合は（ステップＳ１２０４でＹＥＳ）、再生制御部１０９は蓄積サーバ３０３にＧＯＰの送信を要求する（ステップＳ１２０５）。
【００５２】
蓄積サーバ３０３は、送信要求を受け付けると、サーバメモリ３０４に蓄積されたＧＯＰの中のうち最も再生順の早いものから順番にＧＯＰを送信する。例えば、ＧＯＰ１〜ＧＯＰ１０から構成されるシーケンスのうち、ＧＯＰ５〜ＧＯＰ１０の動画像符号化データがサーバメモリ３０４に蓄積されている場合は、ＧＯＰ５から順番に送信される。
【００５３】
次に、再生制御部１０９は、メモリ１０４に記憶されているＧＯＰを全て読み出し終えたか否かを判定する（ステップＳ１２０６）。この判定の結果、未だ全てのＧＯＰを読み出し終えていない場合は（ステップＳ１２０６でＮＯ）、ステップＳ１２０１の処理を再び行う。一方、全てのＧＯＰをメモリ１０４から読み出し終えた場合は（ステップＳ１２０６でＹＥＳ）、再生制御部１０９は、受信部１０８からＧＯＰを受け取り、復号化部１１０へ出力し（ステップＳ１２０７）、ステップＳ１２０２の処理を再び行う。
【００５４】
なお、本実施形態のデジタルカメラ３０１の再生制御部１０９は、ＧＯＰ単位で動画像データをメモリ１０４から読み出し、蓄積サーバ３０３へ送信要求を出している。一方、ピクチャ単位あるいはスライス単位で動画像符号化データが読み出されてもよいし、送信要求が出されてもよい。
【００５５】
以上に説明したように、本実施形態のデジタルカメラ３０１は、デジタルカメラのメモリに記憶された動画像符号化データについて、蓄積サーバにシーケンスの後ろから順番に転送する。これにより、メモリの残り容量を増やすことができるので、撮影時間を延ばすことができる。また、シーケンスの先頭の動画像符号化データは蓄積サーバよりもデータ読み出し遅延の短いメモリに記憶されているので、再生開始を指示されたときに迅速な再生が可能である。
【００５６】
さらに、本実施形態のデジタルカメラ３０１は、シーケンスの前半がメモリに残るため、ユーザが途中で再生を終了した場合は、ネットワーク上のデータ伝送が動画像データの再生時に発生しない。また、メモリに残された動画像データを再生する際、どの動画像データを選んでもメモリ使用量あたりの再生時間を比較的ばらつくことなく長くすることができる。
【００５７】
さらに、本実施形態のデジタルカメラ３０１は、蓄積サーバへの転送を中断した場合、メモリに残る動画像データの再生時間が長くなるため、ネットワーク上で発生し得る伝送エラーの影響を受けずに再生可能な時間を延ばすことができる。
【００５８】
（第２の実施形態）
本実施形態の画像送信装置の構成について、図４及び図５を参照しながら説明する。図４は、本実施形態におけるデジタルカメラ４０１を用いたシステムの一例を示す図である。
図４において、４０１は動画像を撮影するデジタルカメラであり、４０６は動画像データを蓄積及び表示する機能を持つローカル蓄積サーバである。デジタルカメラ４０１はネットワーク４０２を介してローカル蓄積サーバ４０６へ接続されており、ローカル蓄積サーバ４０６はネットワーク４０２を介して、蓄積サーバ４０３へ接続されている。また、蓄積サーバ４０３は大容量のサーバメモリ４０４を備えている。
【００５９】
図５は、本実施形態のデジタルカメラ（画像送信装置）４０１及びローカル蓄積サーバ４０６の内部構成例を示すブロック図である。
図５において、５０５は、デジタルカメラ４０１を制御するとともに、動画像符号化データを復号化してモニタ５０６に表示するパーソナルコンピュータ（ＰＣ）である。なお、本実施形態では、メモリとしてＨＤＤ５０７が用いているが、例えばフラッシュメモリなどを用いてもよい。
【００６０】
５０１は動画像データを撮像する撮像部であり、５０２は撮像された動画像データを符号化し、動画像符号化データを出力する符号部である。５０３は、ネットワーク４０２を介して動画像符号化データをＰＣ５０５に出力する出力部である。また、５０４は、ネットワーク４０２を介してＰＣ５０５から撮影開始、撮影終了、パン・チルト・ズームなどの種々のカメラ制御に関する指示を受け、撮像部５０１、符号化部５０２、及び出力部５０３を制御する撮影制御部である。
【００６１】
次に、本実施形態のデジタルカメラ４０１の動作を詳細に説明する。ＰＣ５０５は、ユーザから撮影開始の操作を受け付けると、撮影制御部５０４に対して撮影開始の指示を出す。撮影制御部５０４は、撮像部５０１、符号化部５０２及び出力部５０３に対し、動作の開始を指示する。これにより、出力部５０３からネットワーク４０２を介して動画像符号化データがＰＣ５０５に出力され、ＰＣ５０５は、出力部５０３から出力された動画像符号化データをＨＤＤ５０７に記憶する。また、ＰＣ５０５は、ユーザから撮影終了の操作を受け付けると、撮影制御部５０４に対して撮影終了の指示を出す。
【００６２】
ＰＣ５０５は、ＨＤＤ５０７の残り記憶容量を常に監視している。そして、残り記憶容量が所定値に以下になった場合、第１の実施形態と同様に図２Ａもしくは図２Ｂに示した処理を行う。
【００６３】
次に、本実施形態の画像送信装置が、動画像符号化データを再生する時の動作を説明する。
ＰＣ５０５は、ユーザが選択したシーケンスに対する再生開始の操作を受け付けると、選択されたシーケンスの先頭のＧＯＰから順番に、ＨＤＤ５０７から動画像符号化データを読み出す。さらに、ＰＣ５０５はＨＤＤ５０７から読み出した動画像符号化データに対する復号化処理を行い、復号化された動画像をモニタ５０６に出力する。
【００６４】
ＨＤＤ５０７に記憶されている動画像符号化データが残り少なくなると、ＰＣ５０５は、蓄積サーバ４０３に対して当該シーケンスの送信要求を出力する。蓄積サーバ４０３は送信要求を受け付けると、サーバメモリ４０４に蓄積された動画像符号化データのうち、最も再生順の早いＧＯＰから順番に送信する。ＰＣ５０５は、ＨＤＤ５０７に記憶されているＧＯＰを全て復号化し終えた後、蓄積サーバ４０３から送信された動画像符号化データを受信し、復号化処理を行なってモニタ５０６へ出力する。
【００６５】
なお、図６に示すように、デジタルカメラ６０１とＰＣ６０５とが直接接続されている形態でもよい。また、図６において、デジタルカメラ６０１の内部では動画像データに対する符号化処理を行わず、ＰＣ６０５で符号化処理を行ってもよい。
【００６６】
以上に説明したように、本実施形態のデジタルカメラは、動画像符号化データについて、ＨＤＤから蓄積サーバにシーケンスの後ろから順番に転送することにより、ＨＤＤの残り容量を増やすことができる。これにより、撮影時間を延ばすことができる。また、シーケンスの前半の動画像符号化データは蓄積サーバよりもデータ読み出し遅延の短いＨＤＤに記憶されているので、ユーザによって再生開始を指示されたときに迅速な再生が可能とある。
【００６７】
さらに、シーケンスの前半はＨＤＤに残されているため、ユーザが途中で再生を終了した場合は、ネットワーク上のデータ伝送が動画像データの再生時に発生しない。また、ＨＤＤに残された動画像データを再生する際、どの動画像データを選んでもＨＤＤ使用量あたりの再生時間を比較的ばらつくことなく長くすることができる。さらに、蓄積サーバへの転送を中断した場合、ＨＤＤに残る動画像データの再生時間が長くなるため、ネットワーク上で発生し得る伝送エラーの影響を受けずに再生可能な時間を延ばすことができる。
【００６８】
（第３の実施形態）
本実施形態の画像送信装置の構成について、図７及び図９を参照しながら説明する。図７は、本実施形態のレコーダ８０１を含むシステムの一例を示す図である。
図７において、８０１は、放送局８０６から送信される動画像データを蓄積するレコーダであり、８０５は、放送局８０６から送信される動画像データまたはレコーダ８０１に蓄積されている動画像データを表示するディスプレイである。レコーダ８０１はネットワーク８０２を介して、蓄積サーバ８０３へ接続されており、蓄積サーバ８０３は大容量のサーバメモリ８０４を備える。
【００６９】
図９は、本実施形態におけるレコーダ（画像送信装置）８０１の内部構成例を示すブロック図である。
図９において、９０１は放送局から送信される動画像データを受信する受信部であり、９０２は、受信部９０１で受信された動画像データを符号化する符号化部である。なお、予め符号化された動画像データが放送局８０６から送信される場合は、符号化処理は行われない。
【００７０】
９０３は、動画像符号化データをＨＤＤ９０４に記憶させ、ＨＤＤ９０４の残り容量に応じて蓄積サーバ８０３に動画像符号化データを転送させる送信部であり、９０４は動画像符号化データを記憶するＨＤＤである。なお、本実施形態ではメモリとしてＨＤＤ９０４が用いられているが、例えばフラッシュメモリなどを用いてもよい。
【００７１】
９０５はＨＤＤ９０４の残り記憶容量を検出する記憶容量検出部であり、９０６はＨＤＤ９０４または蓄積サーバ８０３から動画像符号化データを読み出し、復号化部９０７へ出力する再生制御部である。９０７は動画像符号化データを復号化する復号化部であり、受信部９０１で受信した動画像符号化データをリアルタイムで表示する場合は、復号化部９０７は受信部９０１から出力される動画像符号化データを復号化する。また、ＨＤＤ９０４に記憶された動画像符号化データを再生したい場合は、復号化部９０７は再生制御部９０６から出力される動画像符号化データを復号化する。
【００７２】
８０５は動画像を表示するディスプレイであり、放送局８０６から送信された符号化されていない動画像データを表示する場合は、ディスプレイ８０５は受信部９０１から出力された動画像データを表示する。一方、そうでない場合は、ディスプレイ８０５は復号化部９０７から出力された動画像データを表示する。
【００７３】
次に、本実施形態のレコーダ８０１の動作について詳細に説明する。
送信部９０３は、ユーザから指示を受けると、符号化部９０２または受信部９０１から出力された動画像符号化データをＨＤＤ９０４に記憶する。送信部９０３は、図１３に示すように、シーケンスを構成する各々のＧＯＰ（Group Of Picture）の符号化データの先頭位置情報もＨＤＤ９０４に記憶する。送信部９０３は、記憶容量検出部９０５から得られるＨＤＤ９０４の残りデータ量に基づいて、第１の実施形態と同様に、図２Ａもしくは図２Ｂに示した処理を行う。
【００７４】
次に、本実施形態のレコーダ８０１が、動画像データを再生する時の動作を説明する。
再生制御部９０６は、ユーザが選択したシーケンスに対する再生を開始すると、対応するシーケンスをＨＤＤ９０４から読み出し、復号化部９０７へ出力する。ＨＤＤ９０４に記憶されているシーケンスの後方が蓄積サーバ８０３へ転送されており、且つＨＤＤ９０４から読み出しを終えていないＧＯＰが少なくなると、再生制御部９０６は、蓄積サーバ８０３に対して当該シーケンスの送信要求を出力する。
【００７５】
蓄積サーバ８０３は、送信要求を受け付けると、蓄積されたＧＯＰの中うち最も再生順の早いものから順番にＧＯＰを送信する。そして、再生制御部９０６は、ＨＤＤ９０４に記憶されているＧＯＰの符号化データを全て復号化部９０７へ出力し終えると、蓄積サーバ８０３から送信された動画像符号化データを復号化部９０７へ出力する。
【００７６】
なお、本実施形態において、レコーダ８０１は、符号化部９０２を備えているが、放送局８０６から符号化された動画像データしか送信されない場合は、図１０に示すように、符号化部を備えなくてもよい。さらに、図８に示すように、レコーダ７０１は、放送局７０６からネットワーク７０２を介して動画像データを受信してもよい。また、放送局８０６から符号化されていない動画像データが送信され、且つＨＤＤ９０４が比較的大容量の場合は、図１１に示すように、符号化部及び復号化部を備えなくてもよい。
【００７７】
以上に説明したように、本実施形態のレコーダ８０１は、動画像符号化データについて、ＨＤＤから蓄積サーバにシーケンスの後ろから順番に転送することにより、ＨＤＤの残り容量を増やすことができる。これにより、ＨＤＤへの記録時間を延ばすことができる。また、シーケンスの前半の動画像符号化データは蓄積サーバよりもデータ読み出し遅延の短いＨＤＤに記憶されているので、ユーザによって再生開始を指示されたときに迅速な再生が可能である。
【００７８】
さらに、シーケンスの前半はＨＤＤに残されているため、ユーザが途中で再生を終了した場合は、ネットワーク上のデータ伝送が動画像データの再生時に発生しないようにすることができる。また、ＨＤＤに残された動画像データを再生する際、どの動画像データを選んでもＨＤＤ使用量あたりの再生時間を比較的ばらつくことなく長くすることができる。さらに、蓄積サーバへの転送を中断した場合、ＨＤＤに残る動画像データの再生時間が長くなるため、ネットワーク上で発生し得る伝送エラーの影響を受けずに再生できる時間を延ばすことができる。
【００７９】
（本発明に係る他の実施形態）
前述した本発明の実施形態における画像送信装置を構成する各手段、並びに画像送信方法の各工程は、コンピュータのＲＡＭやＲＯＭなどに記憶されたプログラムが動作することによって実現できる。このプログラム及び前記プログラムを記録（記憶）したコンピュータ読み取り可能な記録媒体（記憶媒体）は本発明に含まれる。
【００８０】
また、本発明は、例えば、システム、装置、方法、プログラムもしくは記録媒体（記憶媒体）等としての実施形態も可能であり、具体的には、複数の機器から構成されるシステムに適用してもよいし、また、一つの機器からなる装置に適用してもよい。
【００８１】
なお、本発明は、前述した実施形態の機能を実現するソフトウェアのプログラム（実施形態では図２Ａ、図２Ｂ、図１２に示すフローチャートに対応したプログラム）を、システムまたは装置に直接、または遠隔から供給する場合も含む。そして、そのシステムまたは装置のコンピュータが前記供給されたプログラムコードを読み出して実行することによっても達成される場合を含む。
【００８２】
したがって、本発明の機能処理をコンピュータで実現するために、前記コンピュータにインストールされるプログラムコード自体も本発明を実現するものである。つまり、本発明は、本発明の機能処理を実現するためのコンピュータプログラム自体も含まれる。
【００８３】
その場合、プログラムの機能を有していれば、オブジェクトコード、インタプリタにより実行されるプログラム、ＯＳに供給するスクリプトデータ等の形態であってもよい。
【００８４】
プログラムを供給するための記録媒体（記憶媒体）としては、例えば、フレキシブルディスク、ハードディスク、光ディスク、光磁気ディスクなどがある。さらに、ＭＯ、ＣＤ−ＲＯＭ、ＣＤ−Ｒ、ＣＤ−ＲＷ、磁気テープ、不揮発性のメモリカード、ＲＯＭ、ＤＶＤ（ＤＶＤ−ＲＯＭ、ＤＶＤ−Ｒ）などもある。
【００８５】
その他、プログラムの供給方法としては、クライアントコンピュータのブラウザを用いてインターネットのホームページに接続する方法がある。そして、前記ホームページから本発明のコンピュータプログラムそのもの、もしくは圧縮され自動インストール機能を含むファイルをハードディスク等の記録媒体（記憶媒体）にダウンロードすることによっても供給できる。
【００８６】
また、本発明のプログラムを構成するプログラムコードを複数のファイルに分割し、それぞれのファイルを異なるホームページからダウンロードすることによっても実現可能である。つまり、本発明の機能処理をコンピュータで実現するためのプログラムファイルを複数のユーザに対してダウンロードさせるＷＷＷサーバも、本発明に含まれるものである。
【００８７】
また、その他の方法として、本発明のプログラムを暗号化してＣＤ−ＲＯＭ等の記録媒体（記憶媒体）に格納してユーザに配布し、所定の条件をクリアしたユーザに対し、インターネットを介してホームページから暗号化を解く鍵情報をダウンロードさせる。そして、その鍵情報を使用することにより暗号化されたプログラムを実行してコンピュータにインストールさせて実現することも可能である。
【００８８】
また、コンピュータが、読み出したプログラムを実行することによって、前述した実施形態の機能が実現される。さらに、そのプログラムの指示に基づき、コンピュータ上で稼動しているＯＳなどが、実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現され得る。
【００８９】
さらに、その他の方法として、まず記録媒体（記憶媒体）から読み出されたプログラムが、コンピュータに挿入された機能拡張ボードやコンピュータに接続された機能拡張ユニットに備わるメモリに書き込まれる。そして、そのプログラムの指示に基づき、その機能拡張ボードや機能拡張ユニットに備わるＣＰＵなどが実際の処理の一部または全部を行い、その処理によっても前述した実施形態の機能が実現される。
【図面の簡単な説明】
【００９０】
【図１】本発明の第１の実施形態のデジタルカメラ（画像送信装置）の内部構成例を示すブロック図である。
【図２Ａ】本発明の第１の実施形態のデジタルカメラによる転送処理手順の一例を示すフローチャートである。
【図２Ｂ】本発明の第１の実施形態のデジタルカメラによる転送処理手順の他の例を示すフローチャートである。
【図３】本発明の第１の実施形態におけるデジタルカメラを用いたシステムの一例を示す図である。
【図４】本発明の第２の実施形態におけるデジタルカメラを用いたシステムの一例を示す図である。
【図５】本発明の第２の実施形態のデジタルカメラ（画像送信装置）及びローカル蓄積サーバの内部構成例を示すブロック図である。
【図６】本発明の第２の実施形態におけるデジタルカメラを用いたシステムの他の例を示す図である。
【図７】本発明の第３の実施形態のレコーダを用いたシステムの一例を示す図である。
【図８】本発明の第３の実施形態のレコーダを用いたシステムの他の例を示す図である。
【図９】本発明の第３の実施形態におけるレコーダの内部構成例を示すブロック図である。
【図１０】本発明の第３の実施形態におけるレコーダの内部構成の他の例を示すブロック図である。
【図１１】本発明の第３の実施形態におけるレコーダの内部構成のその他の例を示すブロック図である。
【図１２】本発明の第１の実施形態におけるデジタルカメラによる動画像符号化データの再生手順の一例を示すフローチャートである。
【図１３】ＧＯＰ先頭位置情報を格納したテーブルの例を示す図である。
【図１４】Ｈ．２６４符号化方式でＧＯＰに相当するピクチャ群の例を示す図である。
【図１５】動画像符号化データの構成要素を表す図である。
【符号の説明】
【００９１】
１０１ 撮像部
１０２ 符号化部
１０３ 記憶制御部
１０４ メモリ
１０５ 記憶容量検出部
１０６ 転送部
１０７ 選択部
１０８ 受信部
１０９ 再生制御部
１１０ 復号化部
１１１ 表示部
３０１ デジタルカメラ
３０２ ネットワーク
３０３ 蓄積サーバ
３０４ サーバメモリ
【特許請求の範囲】
【請求項１】
複数の動画像シーケンスをメモリに記憶する記憶制御手段と、
前記メモリに記憶された複数の動画像シーケンスから１つの動画像シーケンスを選択する選択手段と、
前記選択手段より選択された動画像シーケンスの動画像データのうち、最後に再生されるべき動画像データから、動画像データを蓄積するための外部装置へ転送する転送手段とを備え、
前記選択手段は、前記メモリに記憶された複数の動画像シーケンスのビットレートに基づいて選択することを特徴とする画像送信装置。
【請求項２】
前記選択手段は、前記メモリに記憶された複数の動画像シーケンスのうち、ビットレートの高いものを優先的に選択することを特徴とする請求項１に記載の画像送信装置。
【請求項３】
前記メモリの残り記憶容量を検出する記憶容量検出手段をさらに備え、
前記転送手段は、前記記憶容量検出手段の検出結果に基づいて、動画像データを転送することを特徴とする請求項１に記載の画像送信装置。
【請求項４】
前記転送手段は、メモリの残り記憶容量が所定値より小さくなった場合、動画像データを転送することを特徴とする請求項３に記載の画像送信装置。
【請求項５】
複数の動画像シーケンスをメモリに記憶する記憶制御工程と、
前記メモリに記憶された複数の動画像シーケンスのうち、一つの動画像シーケンスを選択する選択工程と、
前記選択工程において選択された動画像シーケンスの動画像データのうち、最後に再生されるべき動画像データから順に、動画像データを蓄積するための外部装置へ転送する転送工程とを備え、
前記選択工程においては、前記メモリに記憶された複数の動画像シーケンスのビットレートに基づいて選択することを特徴とする画像送信方法。
【請求項６】
請求項５に記載の画像送信方法の各工程をコンピュータに実行させるためのプログラム。
【請求項１】
複数の動画像シーケンスをメモリに記憶する記憶制御手段と、
前記メモリに記憶された複数の動画像シーケンスから１つの動画像シーケンスを選択する選択手段と、
前記選択手段より選択された動画像シーケンスの動画像データのうち、最後に再生されるべき動画像データから、動画像データを蓄積するための外部装置へ転送する転送手段とを備え、
前記選択手段は、前記メモリに記憶された複数の動画像シーケンスのビットレートに基づいて選択することを特徴とする画像送信装置。
【請求項２】
前記選択手段は、前記メモリに記憶された複数の動画像シーケンスのうち、ビットレートの高いものを優先的に選択することを特徴とする請求項１に記載の画像送信装置。
【請求項３】
前記メモリの残り記憶容量を検出する記憶容量検出手段をさらに備え、
前記転送手段は、前記記憶容量検出手段の検出結果に基づいて、動画像データを転送することを特徴とする請求項１に記載の画像送信装置。
【請求項４】
前記転送手段は、メモリの残り記憶容量が所定値より小さくなった場合、動画像データを転送することを特徴とする請求項３に記載の画像送信装置。
【請求項５】
複数の動画像シーケンスをメモリに記憶する記憶制御工程と、
前記メモリに記憶された複数の動画像シーケンスのうち、一つの動画像シーケンスを選択する選択工程と、
前記選択工程において選択された動画像シーケンスの動画像データのうち、最後に再生されるべき動画像データから順に、動画像データを蓄積するための外部装置へ転送する転送工程とを備え、
前記選択工程においては、前記メモリに記憶された複数の動画像シーケンスのビットレートに基づいて選択することを特徴とする画像送信方法。
【請求項６】
請求項５に記載の画像送信方法の各工程をコンピュータに実行させるためのプログラム。
【図１】
【図２Ａ】
【図２Ｂ】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【図２Ａ】
【図２Ｂ】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図１３】
【図１４】
【図１５】
【公開番号】特開２０１０−１７１６５６（Ｐ２０１０−１７１６５６Ａ）
【公開日】平成２２年８月５日（２０１０．８．５）
【国際特許分類】
【出願番号】特願２００９−１１３６１（Ｐ２００９−１１３６１）
【出願日】平成２１年１月２１日（２００９．１．２１）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２２年８月５日（２０１０．８．５）
【国際特許分類】
【出願日】平成２１年１月２１日（２００９．１．２１）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]