画像配信装置
【課題】 リアルタイムの映像を優先して視聴することができ、且つカメラからの入力映像が途切れた場合においても、未視聴映像を視聴することが可能な画像配信装置を提供することにある。
【解決手段】 画像撮影装置から映像信号を受信して、画像表示装置に映像信号を送信する画像配信装置であって、画像表示装置に備えたセンサからの被写体情報を受信する被写体情報受信手段と、前記被写体情報から視聴の有無を検出する視聴状態検出手段と、画像撮影装置で符号化された映像信号を受信する映像信号受信手段と、前記映像信号の受信の有無を判別する映像信号受信有無判別手段と、前記映像信号を表示手段に送信する映像信号送信手段と、画像撮影装置に符号化の開始要求を送信する符号化開始要求送信手段と、を有し、視聴状態検出手段の視聴があり、且つ映像信号受信有無判別手段の受信が無い場合には、画像撮影装置に符号化の開始要求を送信することを特徴とする。
【解決手段】 画像撮影装置から映像信号を受信して、画像表示装置に映像信号を送信する画像配信装置であって、画像表示装置に備えたセンサからの被写体情報を受信する被写体情報受信手段と、前記被写体情報から視聴の有無を検出する視聴状態検出手段と、画像撮影装置で符号化された映像信号を受信する映像信号受信手段と、前記映像信号の受信の有無を判別する映像信号受信有無判別手段と、前記映像信号を表示手段に送信する映像信号送信手段と、画像撮影装置に符号化の開始要求を送信する符号化開始要求送信手段と、を有し、視聴状態検出手段の視聴があり、且つ映像信号受信有無判別手段の受信が無い場合には、画像撮影装置に符号化の開始要求を送信することを特徴とする。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ネットワークを介して映像或いは音声等を配信する画像配信装置に関し、特にリアルタイムの映像信号を配信する画像配信装置に関するものである。
【背景技術】
【０００２】
近年、撮影した静止画や動画等を受信して、表示装置に送信する画像配信装置がある。例えば、静止画を配信する装置としては、ディジタルカメラで撮影した画像を画像配信装置に送信して、画像配信装置からフォトフレームに配信するシステムが実用化されている。このフォトフレームによれば、家族が撮影した静止画を、画像配信装置を介して離れた相手に配信することができる。
【０００３】
動画像を配信する装置としては、運動会や結婚式のリアルタイム映像を、画像配信装置を介してPC端末に配信する映像配信装置があり、ネットワークを介して接続された端末に対して映像信号をリアルタイムで配信する画像配信システムが提案されている（例えば、特許文献１）。
【０００４】
特許文献１では、ネットワークを介して接続された端末からアクセスされると、識別情報とパスワードを問い合わせる方法と、前記識別情報とパスワードが一致した場合には、端末にアクセスを許可して、リアルタイムで映像信号を配信する画像配信装置が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開2008-17350号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献1では、カメラは電源がオン状態で記録していることを前提としており、カメラの電源がオフされた場合は映像信号が途切れてサーバからの映像信号を受信できなかった。さらに、視聴条件を考慮していないために、リアルタイム映像を視聴している際に、離席すると、リアルタイム映像を視聴できず未視聴であるシーンを容易に視聴することが出来ないという課題があった。
【０００７】
本発明の目的は、リアルタイムの映像を優先して視聴することができ、且つカメラからの入力映像が途切れた場合においても、未視聴映像を視聴することが可能な画像配信装置を提供することにある。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、第1の発明では、画像撮影装置から映像信号を受信して、画像表示装置に映像信号を送信する画像配信装置であって、
画像表示装置に備えたセンサからの被写体情報を受信する被写体情報受信手段と、
前記被写体情報から視聴の有無を検出する視聴状態検出手段と、
画像撮影装置で符号化された映像信号を受信する映像信号受信手段と、
前記映像信号の受信の有無を判別する映像信号受信有無判別手段と、
前記映像信号を表示手段に送信する映像信号送信手段と、
画像撮影装置に符号化の開始要求を送信する符号化開始要求送信手段と、を有し、
視聴状態検出手段の視聴があり、且つ映像信号受信有無判別手段の受信が無い場合には、画像撮影装置に符号化の開始要求を送信する手段を有している。
【０００９】
また、第2の発明では、視聴状態検出手段の視聴があり、且つ映像信号受信有無判別手段の受信がある場合には、映像信号受信手段の映像信号を表示手段に送信する手段を有している。
【００１０】
また、第3の発明では、視聴状態検出手段の視聴がなく、且つ映像信号受信有無判別手段の受信がある場合には、未視聴期間を検出する手段を有している。
【００１１】
また、第４の発明では、映像信号を蓄積する映像信号蓄積手段と、映像信号受信手段又は映像信号蓄積手段を選択する映像信号選択手段とを備え、前記撮像装置からの映像信号を受信するまでは、映像信号蓄積手段に蓄積されている映像信号を前記画像表示手段に送信する手段を有している。
【００１２】
また、第５の発明では、前記画像撮影装置は、前記符号化の開始要求を受信した場合には、符号化を開始する手段を有している。
【００１３】
また、第６の発明では、前記画像表示装置は、被写体を検出するセンサを備え、被写体情報を送信する手段を有している。
【発明の効果】
【００１４】
本発明によれば、撮影装置から映像信号の受信が無い場合でも、表示装置の視聴状態に応じて、最適な映像を配信できる。
【図面の簡単な説明】
【００１５】
【図１】本実施例における、画像配信システムのブロック図である。
【図２】本実施例における、画像撮影装置のブロック図である。
【図３】本実施例における、映像配信装置のブロック図である。
【図４】本実施例における、表示装置のブロック図である。
【図５】本実施例における、画像撮影装置の動作を説明するフローチャートである。
【図６】本実施例における、画像配信装置の動作を説明するフローチャートである。
【図７】本実施例における、画像表示装置の動作を説明するフローチャートである。
【発明を実施するための形態】
【００１６】
以下、本発明の実施の形態を図面に基づいて詳細に説明する。
【００１７】
［実施例］
本発明の実施形態に係る画像配信システムの構成例を図１に示す。画像配信システムは、映像や音声を記録する画像撮影装置200と映像や音声を表示する画像表示装置400と、ネットワークを介して接続される画像配信装置300から構成される。画像配信装置300は、画像撮影装置200から映像データを受信して、画像表示装置400に映像データを送信する。
【００１８】
画像撮影装置200は、ネットワーク100、例えばインターネットを介して画像配信装置300に接続され、画像配信装置300に映像データを送信する機能を備えている。画像表示装置400は、ネットワーク100、例えばインターネットを介して画像配信装置300に接続され、画像配信装置に配信された映像データを受信する機能を備えている。同図において、画像撮影装置200は、映像や音声を撮影して画像撮影装置200内のメモリに記録すると共に、ネットワーク100を介してリアルタイム映像を画像配信装置300に送信することが可能である。画像表示装置400は、画像配信装置300からの映像を受信して表示する。画像配信装置300は、画像表示装置400に提供する映像データを保持する。画像配信装置300は、ファイルサーバ機能、データベース機能、データ検索機能、WWWサーバ機能（HTTPD:HyperText Transfer Protocol Demon）などを有する。
【００１９】
画像配信装置300は、例えば高性能なパーソナルコンピュータ等により構成され、各種機能は、オペレーティングシステム上でアプリケーションソフトウェアとして実現される。
【００２０】
以下、図２から図7を参照して、本発明の実施例を説明する。まず、図２に、本発明を適用した画像撮影装置200の構成例を示す。201はレンズユニットであり、集光のための固定レンズ群、変倍レンズ群、絞り、変倍レンズ群の動きで移動した結像位置を補正する機能と焦点調節を行なう機能とを兼ね備えた補正レンズ群により構成されている。レンズユニット201によって、最終的に後述のＣＣＤ204の結像面上に被写体像が結像される。204はＣＣＤ（charge coupled device）であり、光を電荷に変換し撮像信号を生成する。
【００２１】
205はＡ／Ｄ処理部であり、撮像信号に所定の処理を施しデジタル画像データを出力する。また、これらを総じてカメラユニットとする。また、図２には図示していないが、変倍レンズ群、絞りなどのアクチュエータ、手ぶれ補正のためのセンサ（例えば角速度センサ）、同補正手段（シフトレンズなど）が備えられている。
【００２２】
218はカメラ制御CPU(Central Processing Unit)であり、後述のCPU210の制御に従いカメラユニットを制御するものである。また、カメラユニットの情報、例えば合焦情報、手ぶれ情報などのカメラユニットから得られる情報をCPU210に伝達する役割も果たしている。209はマイクユニットである。マイクユニット209は撮影時に音声を集めるために備わっており、所定の増幅、帯域制限等が含まれる。219はＡ／Ｄ処理部であり、マイクユニット209の出力を受けてデジタル音声データを出力する。
【００２３】
210はCPUであり、システム全体を制御する。CPU210は、プログラムを格納する不揮発性メモリ（ROM）、作業領域となる揮発性メモリ（RAM）、他のハードウエアとデータの受け渡しや制御用レジスタをアクセスするための外部バス、時間を計測するタイマを少なくとも有している。203はバスである。バス203には各ブロックが接続されており、CPU210の制御に従ってデータの受け渡しを行なう伝送路である。
【００２４】
202はエンコーダ部であり、CPU210の制御に従いデジタル画像データ、及びデジタル音声データを受け、MPEG（Moving Picture Experts Group）２方式で圧縮する。MPEG2方式で圧縮されたものを、さらに時系列順に多重化して圧縮ビデオデータを生成する。圧縮方式についてはMPEG2方式を例にあげたが、他の圧縮方式でも良い。また、エンコーダ部202には、例えばデータ位置とフレーム位置の変換に必要となる情報などをCPU210に通知する機能を備えている。
【００２５】
221は記録再生回路であり、エンコーダ部202と、後述のメモリ206、メモリカード220、及びデコーダ部208とのインターフェースを有し、CPU210の制御によってデータの受け渡しを制御する。206はメモリであり、各ブロックが作業用に使用可能となっている。
【００２６】
220は撮影した動画を記録する記録媒体である。本実施形態では、記録媒体として、メモリカードを使用する。記録再生回路221は、バス203に接続されるCPU210やメモリ206とのインターフェースと、メモリカード220とのインターフェースを有している。そして、CPU210等からメモリカード220の制御レジスタにアクセスするための変換を行なうものである。
【００２７】
メモリカード220内には、撮影した映像データが格納される。なお、メモリカード220は記録媒体そのもののみではなく、記録再生回路221と接続可能なインターフェースを有し、メモリカード220にデータ等を読み書き可能なユニットのことである。記録再生回路221には、メモリ206の先頭アドレスとデータ量、及びメモリカード220の書き込む先頭アドレスを指定することにより、読み出しまたは書き込みデータを自動転送する、所謂ダイレクトメモリーアクセス（DMA）機能が備わっている。
【００２８】
208はデコーダ部であり、CPU210に指定されたメモリ206のアドレスから圧縮ビデオデータや圧縮静止画データを逐次読み出す。読み出された圧縮ビデオデータや圧縮静止画は、例えばITU-R BT.656（CCIR656）等のデジタル映像信号、及びデジタル音声信号に変換して出力する。圧縮静止画データの再生時には、必要があれば縮小処理を行なうことができるように工夫されている。
【００２９】
207は音声出力部、217は映像出力部である。映像出力部217、音声出力部207はデコーダ部208によって変換されたデジタル映像信号、及びデジタル音声信号をそれぞれ所定の信号に変換し外部に出力するためのブロックであり、テレビジョン受像機等に接続される。
【００３０】
213はオンスクリーンディスプレイ（OSD）部であり、後述する各種設定を行なうためのメニュー画面やタイトル、時間などの情報をビデオ出力に重畳させるものである。またOSD部213には、デコーダ部208から入力されるデジタル映像信号をキャプチャーし、縮小処理を施し、任意の位置に重畳させる機能も兼ね備えている。
【００３１】
212は操作するためのスイッチが並ぶスイッチ操作部である。これは、タッチパネル操作部215と同様に、ユーザ操作によって入力された信号をCPU210が判定して動作させるものである。
【００３２】
CPU210は所定のファイルシステムを扱うソフトウェアを搭載しており、このファイルシステムに従ってメモリカード220へのデータの読み書きが行なわれる。211はEEPROMであり、書き換え可能なROMである。
【００３３】
214はＥＶＦ（Electronic View Finder）であり、被写体を覗く小窓として用いられるものである。216は液晶パネルであり、被写体を表示するためのモニタ画面として用いられる。
【００３４】
215は、タッチパネル操作部であり、液晶パネル216と一体的にして使用する。液晶パネル216によって、サムネイル画像や仮想ボタンを表示するとともに、タッチパネル操作部215によって、ユーザの操作を受け付けることができる。222は、画面制御部であり、タッチパネル操作部215からの入力を演算して、仮想ボタンを押されたことを判断する。さらに、液晶パネル216に出力する仮想ボタンの制御も行なっている。
【００３５】
226は、無線送信手段を備えた映像信号送信部であり、撮影時にエンコーダ部202で符号化された映像データを画像配信装置300に送信する。227は、画像配信装置300からの符号化開始要求を受信する符号化開始要求受信部である。画像撮影装置200は、符号化開始要求を受信すると、エンコーダ202の符号化を開始して、符号化された映像信号を映像信号送信部226から画像配信装置300に送信する。
【００３６】
図３に、本発明を適用した画像配信装置300の構成例を示す。画像配信装置300は、画像撮影装置200と画像表示装置400にネットワークを介して接続されている。
【００３７】
CPU309は、画像配信装置300の制御を行なう。映像信号受信部301は、撮影装置200で撮影中のリアルタイム映像信号を受信する。映像信号受信有無判定部303は、画像撮影装置200からの映像信号を受信中か否かを判別する。映像信号蓄積部302は、映像信号受信部301で受信したリアルタイム映像信号を蓄積する。映像信号選択部304は、CPUからの設定によって画像表示装置400に送信する映像信号を選択する。前記映像信号選択部302は、映像信号受信部301からのリアルタイム映像信号又は、映像信号蓄積部302で蓄積した映像信号を選択する。308は、無線送信手段を備えた映像信号送信部であり、映像信号選択部304で選択された映像信号を画像表示装置400に送信する。
【００３８】
被写体情報受信部306は、画像表示装置400からの被写体情報を受信する。受信した前記被写体情報は、視聴状態検出部307によって被写体の顔検出処理を行ない、被写体の視聴状態を検出する。
【００３９】
符号化開始要求送信部305は、視聴状態検出部307で視聴状態であると判断され、且つ映像信号受信有無判別部303で画像撮影装置200からの映像信号入力が無い場合に、画像撮影装置200に符号化を開始するように指示を出す。各デバイス301〜308は、システムバス（アドレスバス、データバス、コントロールバスを含む）310を介して、CPU309により制御される。
【００４０】
図４に、本発明を適用した画像表示装置400の構成例を示す。CPU401は、装置全体の制御動作やネットワークプロトコル処理を司る。
【００４１】
ROM(Read Only Memory)403は、CPU401の動作に必要な命令データが格納されるほか、CPU401の処理に必要なデータが格納される。ROM403は、EEPROM(Electrically Erasable and Programmable ROM)などにより構成され、不揮発の一時データ格納領域としても利用される。
【００４２】
RAM(Random Access Memory)404は、CPU401の動作に必要な作業メモリや受信した映像信号を一時的に格納する作業エリアとして利用される。
【００４３】
410は、無線通信手段を備えた映像信号受信部であり、画像配信装置300からの映像信号を受信してRAM404に格納する。RAM404に格納された映像データは、デコーダ部402により、デコード処理が行われてディスプレイ405に表示される。ディスプレイ405の表示は、CPU401で制御され、映像信号を画像配信装置300から受信している場合には、受信した映像信号を表示し、受信していない場合には、EEPROMに格納されている静止画や現在時刻を表示する。ディスプレイ405は、液晶ディスプレイとそのドライバからなる。
【００４４】
時計デバイス(リアルタイムクロックIC)406は、装置の動作を制御する日時・時刻データを管理するために使用される。407は、受信した映像データを記録するメモリカードである。
【００４５】
センサ409は、画像表示装置400に装着された被写体を検出するカメラであり、前記センサからの情報は、被写体情報信号送信部411により、画像配信装置300に送信される。本実施例では、センサ409からの映像信号を画像配信装置300に送信する構成であるが、画像表示装置400内に、顔検出手段を備えて、ディスプレイ405を視聴しているか否かを判定して、視聴状態を画像配信装置300に送信する構成でも良い。
【００４６】
各デバイス402〜407および409〜411は、システムバス（アドレスバス、データバス、コントロールバスを含む）408を介して、CPU401により制御される。
【００４７】
図５のフローチャートを用いて、画像撮影装置200の動作を説明する。Ｓ501で、画像撮影装置200の電源がオンされているか否かを判定する。Ｓ501で、電源が入っていれば、Ｓ502で画像撮影装置200と画像配信装置300との通信を確立する。通信は、例えば無線ネットワークを通じて行われる。Ｓ503で、録画ボタンが押されたかを判定する。録画が開始した場合には、Ｓ506で撮影中の映像信号を画像配信装置200へ送信する。Ｓ503で、録画開始しない場合には、Ｓ504に進み、符号化開始要求を受信する。Ｓ505で符号化を開始して、Ｓ506で撮影中の画像を画像配信装置へ送信する。
【００４８】
図６のフローチャートを用いて、画像配信装置300の動作を説明する。Ｓ601で、画像配信装置300と画像撮影装置200及び画像表示装置400との通信を確立する。Ｓ608で視聴しているか否かを判定する。視聴しているか否かの判定は、画像表示装置400に備えたセンサ409からの被写体情報を被写体情報受信部306で受信する。受信した被写体情報は、視聴状態検出部307にて、人物の顔を検出して画像表示装置を視聴しているか否かを判定する。Ｓ602とＳ606では、映像信号を受信しているか否かを判定する。受信しているか否かの判定は、画像撮影装置200で撮影している映像信号を映像信号受信部301で受信しているか否かを映像信号受信有無判別部303で判定する。
【００４９】
画像表示装置400で視聴しており、且つ画像撮影装置200からの映像信号を受信している場合には、Ｓ603でリアルタイム映像信号を配信する。前記リアルタイム映像信号の配信は、映像信号受信部301で受信した映像信号を、映像信号選択部304で選択して、映像信号送信部308で画像表示装置400に配信することで実現する。
【００５０】
画像表示装置400で視聴しており、且つ画像撮影装置200からの映像信号を受信していない場合には、Ｓ604で符号化開始要求送信部305から画像撮影装置200に対して、符号化開始要求を送信する。このとき、画像撮影装置200は、符号化開始要求を受信すると、符号化開始要求を受信して、エンコーダ202の符号化を開始したことを液晶パネル216に表示する。Ｓ609では、Ｓ602の判定と同様に、映像信号を受信したか否かを判定する。Ｓ609で、映像信号を受信した場合には、Ｓ603に進んでリアルタイム映像信号を画像表示装置400に配信する。リアルタイム映像信号の配信を開始すると、Ｓ608に進み、画像表示装置400で視聴しているか否かを判定する。リアルタイム映像信号を配信中においても、画像表示装置400の視聴状態と画像撮影装置200からの映像信号の受信状態とを検出する。
【００５１】
Ｓ609で、映像信号を受信していない場合には、Ｓ605で未視聴映像を画像表示装置400に配信する。未視聴映像配信中は、Ｓ609に進んで、所定間隔で映像信号を受信したかを判断する。Ｓ605では、画像配信装置300の映像信号蓄積部302に蓄えられた映像信号から映像信号又は映像信号の一部の未視聴映像を配信するようにCPＵから指示する。
【００５２】
画像表示装置400で視聴しておらず、且つ画像撮影装置200からの映像信号を受信している場合には、Ｓ607で未視聴期間を検出する。未視聴期間の検出は、画像表示装置400から受信した被写体情報から視聴状態検出部307で視聴者の視聴状態を検出する。このとき、映像信号受信部301から受信した映像信号は、映像信号蓄積部302に蓄積して、蓄積中の映像信号の未視聴期間としてＣＰＵが保持しておく。
【００５３】
画像表示装置400で視聴しておらず、且つ画像撮影装置200からの映像信号を受信していない場合には、終了する。
【００５４】
図７のフローチャートを用いて、画像表示装置400の動作を説明する。Ｓ701で、画像表示装置400の電源が入っているか否かを判別する。S701で、電源が入っていれば、S702で画像表示装置400と画像配信装置300との通信を確立する。Ｓ702で、通信が確立したら、画像表示装置400に設けたセンサ409からの被写体情報を画像配信装置300に送信する。Ｓ704で、画像配信装置300からの映像信号を受信しているか否かを判定する。映像信号を受信している場合には、Ｓ705で受信中の映像信号をRAM404に一時的に格納して、デコーダ部402でデコードしてディスプレイ405に表示する。Ｓ704で、映像信号を受信していない場合は、Ｓ706でメモリカード407に格納されている静止画データを読み出し、デコーダ部402でデコードして現在時刻と共にディスプレイ405に表示する。
【００５５】
以上により、リアルタイムの映像信号を優先して視聴することができ、且つカメラからの入力映像が途切れた場合においても、未視聴映像を視聴することが可能である。
【符号の説明】
【００５６】
100・・・ネットワーク、200・・・画像撮影装置、201・・・レンズ、202・・・エンコーダ部、203・・・バス、204・・・ＣＣＤ、205・・・Ａ／Ｄ、206・・・メモリ、207・・・音声出力部、208・・・デコーダ部、209・・・マイクユニット、210・・・CPU、211・・・EEPROM、212・・・スイッチ操作部、213・・・ＯＳＤ、214・・・ＥＶＦ、215・・・タッチパネル操作部、216・・・液晶パネル、217・・・映像出力部、218・・・カメラ制御CPU、219・・・Ａ／Ｄ、220・・・メモリカード、221・・・記録再生回路、222・・・画面制御部、226・・・映像信号送信部、227・・・符号化開始要求受信部、300・・・映像配信装置、301・・・映像信号受信部、302・・・映像信号蓄積部、303・・・映像信号受信有無判別部、304・・・映像信号選択部、305・・・符号化開始要求送信部、306・・・被写体情報受信部、307・・・視聴状態検出部、308・・・映像信号送信部、309・・・CPU、310・・・バス、400・・・画像表示装置、401・・・CPU、402・・・デコーダ部、403・・・EEPROM、404・・・RAM、405・・・ディスプレイ、406・・・時計IC、407・・・メモリカード、408・・・バス、409・・・センサ、410・・・映像信号受信部、411・・・被写体情報送信部
【技術分野】
【０００１】
本発明は、ネットワークを介して映像或いは音声等を配信する画像配信装置に関し、特にリアルタイムの映像信号を配信する画像配信装置に関するものである。
【背景技術】
【０００２】
近年、撮影した静止画や動画等を受信して、表示装置に送信する画像配信装置がある。例えば、静止画を配信する装置としては、ディジタルカメラで撮影した画像を画像配信装置に送信して、画像配信装置からフォトフレームに配信するシステムが実用化されている。このフォトフレームによれば、家族が撮影した静止画を、画像配信装置を介して離れた相手に配信することができる。
【０００３】
動画像を配信する装置としては、運動会や結婚式のリアルタイム映像を、画像配信装置を介してPC端末に配信する映像配信装置があり、ネットワークを介して接続された端末に対して映像信号をリアルタイムで配信する画像配信システムが提案されている（例えば、特許文献１）。
【０００４】
特許文献１では、ネットワークを介して接続された端末からアクセスされると、識別情報とパスワードを問い合わせる方法と、前記識別情報とパスワードが一致した場合には、端末にアクセスを許可して、リアルタイムで映像信号を配信する画像配信装置が開示されている。
【先行技術文献】
【特許文献】
【０００５】
【特許文献１】特開2008-17350号公報
【発明の概要】
【発明が解決しようとする課題】
【０００６】
しかしながら、特許文献1では、カメラは電源がオン状態で記録していることを前提としており、カメラの電源がオフされた場合は映像信号が途切れてサーバからの映像信号を受信できなかった。さらに、視聴条件を考慮していないために、リアルタイム映像を視聴している際に、離席すると、リアルタイム映像を視聴できず未視聴であるシーンを容易に視聴することが出来ないという課題があった。
【０００７】
本発明の目的は、リアルタイムの映像を優先して視聴することができ、且つカメラからの入力映像が途切れた場合においても、未視聴映像を視聴することが可能な画像配信装置を提供することにある。
【課題を解決するための手段】
【０００８】
上記課題を解決するために、第1の発明では、画像撮影装置から映像信号を受信して、画像表示装置に映像信号を送信する画像配信装置であって、
画像表示装置に備えたセンサからの被写体情報を受信する被写体情報受信手段と、
前記被写体情報から視聴の有無を検出する視聴状態検出手段と、
画像撮影装置で符号化された映像信号を受信する映像信号受信手段と、
前記映像信号の受信の有無を判別する映像信号受信有無判別手段と、
前記映像信号を表示手段に送信する映像信号送信手段と、
画像撮影装置に符号化の開始要求を送信する符号化開始要求送信手段と、を有し、
視聴状態検出手段の視聴があり、且つ映像信号受信有無判別手段の受信が無い場合には、画像撮影装置に符号化の開始要求を送信する手段を有している。
【０００９】
また、第2の発明では、視聴状態検出手段の視聴があり、且つ映像信号受信有無判別手段の受信がある場合には、映像信号受信手段の映像信号を表示手段に送信する手段を有している。
【００１０】
また、第3の発明では、視聴状態検出手段の視聴がなく、且つ映像信号受信有無判別手段の受信がある場合には、未視聴期間を検出する手段を有している。
【００１１】
また、第４の発明では、映像信号を蓄積する映像信号蓄積手段と、映像信号受信手段又は映像信号蓄積手段を選択する映像信号選択手段とを備え、前記撮像装置からの映像信号を受信するまでは、映像信号蓄積手段に蓄積されている映像信号を前記画像表示手段に送信する手段を有している。
【００１２】
また、第５の発明では、前記画像撮影装置は、前記符号化の開始要求を受信した場合には、符号化を開始する手段を有している。
【００１３】
また、第６の発明では、前記画像表示装置は、被写体を検出するセンサを備え、被写体情報を送信する手段を有している。
【発明の効果】
【００１４】
本発明によれば、撮影装置から映像信号の受信が無い場合でも、表示装置の視聴状態に応じて、最適な映像を配信できる。
【図面の簡単な説明】
【００１５】
【図１】本実施例における、画像配信システムのブロック図である。
【図２】本実施例における、画像撮影装置のブロック図である。
【図３】本実施例における、映像配信装置のブロック図である。
【図４】本実施例における、表示装置のブロック図である。
【図５】本実施例における、画像撮影装置の動作を説明するフローチャートである。
【図６】本実施例における、画像配信装置の動作を説明するフローチャートである。
【図７】本実施例における、画像表示装置の動作を説明するフローチャートである。
【発明を実施するための形態】
【００１６】
以下、本発明の実施の形態を図面に基づいて詳細に説明する。
【００１７】
［実施例］
本発明の実施形態に係る画像配信システムの構成例を図１に示す。画像配信システムは、映像や音声を記録する画像撮影装置200と映像や音声を表示する画像表示装置400と、ネットワークを介して接続される画像配信装置300から構成される。画像配信装置300は、画像撮影装置200から映像データを受信して、画像表示装置400に映像データを送信する。
【００１８】
画像撮影装置200は、ネットワーク100、例えばインターネットを介して画像配信装置300に接続され、画像配信装置300に映像データを送信する機能を備えている。画像表示装置400は、ネットワーク100、例えばインターネットを介して画像配信装置300に接続され、画像配信装置に配信された映像データを受信する機能を備えている。同図において、画像撮影装置200は、映像や音声を撮影して画像撮影装置200内のメモリに記録すると共に、ネットワーク100を介してリアルタイム映像を画像配信装置300に送信することが可能である。画像表示装置400は、画像配信装置300からの映像を受信して表示する。画像配信装置300は、画像表示装置400に提供する映像データを保持する。画像配信装置300は、ファイルサーバ機能、データベース機能、データ検索機能、WWWサーバ機能（HTTPD:HyperText Transfer Protocol Demon）などを有する。
【００１９】
画像配信装置300は、例えば高性能なパーソナルコンピュータ等により構成され、各種機能は、オペレーティングシステム上でアプリケーションソフトウェアとして実現される。
【００２０】
以下、図２から図7を参照して、本発明の実施例を説明する。まず、図２に、本発明を適用した画像撮影装置200の構成例を示す。201はレンズユニットであり、集光のための固定レンズ群、変倍レンズ群、絞り、変倍レンズ群の動きで移動した結像位置を補正する機能と焦点調節を行なう機能とを兼ね備えた補正レンズ群により構成されている。レンズユニット201によって、最終的に後述のＣＣＤ204の結像面上に被写体像が結像される。204はＣＣＤ（charge coupled device）であり、光を電荷に変換し撮像信号を生成する。
【００２１】
205はＡ／Ｄ処理部であり、撮像信号に所定の処理を施しデジタル画像データを出力する。また、これらを総じてカメラユニットとする。また、図２には図示していないが、変倍レンズ群、絞りなどのアクチュエータ、手ぶれ補正のためのセンサ（例えば角速度センサ）、同補正手段（シフトレンズなど）が備えられている。
【００２２】
218はカメラ制御CPU(Central Processing Unit)であり、後述のCPU210の制御に従いカメラユニットを制御するものである。また、カメラユニットの情報、例えば合焦情報、手ぶれ情報などのカメラユニットから得られる情報をCPU210に伝達する役割も果たしている。209はマイクユニットである。マイクユニット209は撮影時に音声を集めるために備わっており、所定の増幅、帯域制限等が含まれる。219はＡ／Ｄ処理部であり、マイクユニット209の出力を受けてデジタル音声データを出力する。
【００２３】
210はCPUであり、システム全体を制御する。CPU210は、プログラムを格納する不揮発性メモリ（ROM）、作業領域となる揮発性メモリ（RAM）、他のハードウエアとデータの受け渡しや制御用レジスタをアクセスするための外部バス、時間を計測するタイマを少なくとも有している。203はバスである。バス203には各ブロックが接続されており、CPU210の制御に従ってデータの受け渡しを行なう伝送路である。
【００２４】
202はエンコーダ部であり、CPU210の制御に従いデジタル画像データ、及びデジタル音声データを受け、MPEG（Moving Picture Experts Group）２方式で圧縮する。MPEG2方式で圧縮されたものを、さらに時系列順に多重化して圧縮ビデオデータを生成する。圧縮方式についてはMPEG2方式を例にあげたが、他の圧縮方式でも良い。また、エンコーダ部202には、例えばデータ位置とフレーム位置の変換に必要となる情報などをCPU210に通知する機能を備えている。
【００２５】
221は記録再生回路であり、エンコーダ部202と、後述のメモリ206、メモリカード220、及びデコーダ部208とのインターフェースを有し、CPU210の制御によってデータの受け渡しを制御する。206はメモリであり、各ブロックが作業用に使用可能となっている。
【００２６】
220は撮影した動画を記録する記録媒体である。本実施形態では、記録媒体として、メモリカードを使用する。記録再生回路221は、バス203に接続されるCPU210やメモリ206とのインターフェースと、メモリカード220とのインターフェースを有している。そして、CPU210等からメモリカード220の制御レジスタにアクセスするための変換を行なうものである。
【００２７】
メモリカード220内には、撮影した映像データが格納される。なお、メモリカード220は記録媒体そのもののみではなく、記録再生回路221と接続可能なインターフェースを有し、メモリカード220にデータ等を読み書き可能なユニットのことである。記録再生回路221には、メモリ206の先頭アドレスとデータ量、及びメモリカード220の書き込む先頭アドレスを指定することにより、読み出しまたは書き込みデータを自動転送する、所謂ダイレクトメモリーアクセス（DMA）機能が備わっている。
【００２８】
208はデコーダ部であり、CPU210に指定されたメモリ206のアドレスから圧縮ビデオデータや圧縮静止画データを逐次読み出す。読み出された圧縮ビデオデータや圧縮静止画は、例えばITU-R BT.656（CCIR656）等のデジタル映像信号、及びデジタル音声信号に変換して出力する。圧縮静止画データの再生時には、必要があれば縮小処理を行なうことができるように工夫されている。
【００２９】
207は音声出力部、217は映像出力部である。映像出力部217、音声出力部207はデコーダ部208によって変換されたデジタル映像信号、及びデジタル音声信号をそれぞれ所定の信号に変換し外部に出力するためのブロックであり、テレビジョン受像機等に接続される。
【００３０】
213はオンスクリーンディスプレイ（OSD）部であり、後述する各種設定を行なうためのメニュー画面やタイトル、時間などの情報をビデオ出力に重畳させるものである。またOSD部213には、デコーダ部208から入力されるデジタル映像信号をキャプチャーし、縮小処理を施し、任意の位置に重畳させる機能も兼ね備えている。
【００３１】
212は操作するためのスイッチが並ぶスイッチ操作部である。これは、タッチパネル操作部215と同様に、ユーザ操作によって入力された信号をCPU210が判定して動作させるものである。
【００３２】
CPU210は所定のファイルシステムを扱うソフトウェアを搭載しており、このファイルシステムに従ってメモリカード220へのデータの読み書きが行なわれる。211はEEPROMであり、書き換え可能なROMである。
【００３３】
214はＥＶＦ（Electronic View Finder）であり、被写体を覗く小窓として用いられるものである。216は液晶パネルであり、被写体を表示するためのモニタ画面として用いられる。
【００３４】
215は、タッチパネル操作部であり、液晶パネル216と一体的にして使用する。液晶パネル216によって、サムネイル画像や仮想ボタンを表示するとともに、タッチパネル操作部215によって、ユーザの操作を受け付けることができる。222は、画面制御部であり、タッチパネル操作部215からの入力を演算して、仮想ボタンを押されたことを判断する。さらに、液晶パネル216に出力する仮想ボタンの制御も行なっている。
【００３５】
226は、無線送信手段を備えた映像信号送信部であり、撮影時にエンコーダ部202で符号化された映像データを画像配信装置300に送信する。227は、画像配信装置300からの符号化開始要求を受信する符号化開始要求受信部である。画像撮影装置200は、符号化開始要求を受信すると、エンコーダ202の符号化を開始して、符号化された映像信号を映像信号送信部226から画像配信装置300に送信する。
【００３６】
図３に、本発明を適用した画像配信装置300の構成例を示す。画像配信装置300は、画像撮影装置200と画像表示装置400にネットワークを介して接続されている。
【００３７】
CPU309は、画像配信装置300の制御を行なう。映像信号受信部301は、撮影装置200で撮影中のリアルタイム映像信号を受信する。映像信号受信有無判定部303は、画像撮影装置200からの映像信号を受信中か否かを判別する。映像信号蓄積部302は、映像信号受信部301で受信したリアルタイム映像信号を蓄積する。映像信号選択部304は、CPUからの設定によって画像表示装置400に送信する映像信号を選択する。前記映像信号選択部302は、映像信号受信部301からのリアルタイム映像信号又は、映像信号蓄積部302で蓄積した映像信号を選択する。308は、無線送信手段を備えた映像信号送信部であり、映像信号選択部304で選択された映像信号を画像表示装置400に送信する。
【００３８】
被写体情報受信部306は、画像表示装置400からの被写体情報を受信する。受信した前記被写体情報は、視聴状態検出部307によって被写体の顔検出処理を行ない、被写体の視聴状態を検出する。
【００３９】
符号化開始要求送信部305は、視聴状態検出部307で視聴状態であると判断され、且つ映像信号受信有無判別部303で画像撮影装置200からの映像信号入力が無い場合に、画像撮影装置200に符号化を開始するように指示を出す。各デバイス301〜308は、システムバス（アドレスバス、データバス、コントロールバスを含む）310を介して、CPU309により制御される。
【００４０】
図４に、本発明を適用した画像表示装置400の構成例を示す。CPU401は、装置全体の制御動作やネットワークプロトコル処理を司る。
【００４１】
ROM(Read Only Memory)403は、CPU401の動作に必要な命令データが格納されるほか、CPU401の処理に必要なデータが格納される。ROM403は、EEPROM(Electrically Erasable and Programmable ROM)などにより構成され、不揮発の一時データ格納領域としても利用される。
【００４２】
RAM(Random Access Memory)404は、CPU401の動作に必要な作業メモリや受信した映像信号を一時的に格納する作業エリアとして利用される。
【００４３】
410は、無線通信手段を備えた映像信号受信部であり、画像配信装置300からの映像信号を受信してRAM404に格納する。RAM404に格納された映像データは、デコーダ部402により、デコード処理が行われてディスプレイ405に表示される。ディスプレイ405の表示は、CPU401で制御され、映像信号を画像配信装置300から受信している場合には、受信した映像信号を表示し、受信していない場合には、EEPROMに格納されている静止画や現在時刻を表示する。ディスプレイ405は、液晶ディスプレイとそのドライバからなる。
【００４４】
時計デバイス(リアルタイムクロックIC)406は、装置の動作を制御する日時・時刻データを管理するために使用される。407は、受信した映像データを記録するメモリカードである。
【００４５】
センサ409は、画像表示装置400に装着された被写体を検出するカメラであり、前記センサからの情報は、被写体情報信号送信部411により、画像配信装置300に送信される。本実施例では、センサ409からの映像信号を画像配信装置300に送信する構成であるが、画像表示装置400内に、顔検出手段を備えて、ディスプレイ405を視聴しているか否かを判定して、視聴状態を画像配信装置300に送信する構成でも良い。
【００４６】
各デバイス402〜407および409〜411は、システムバス（アドレスバス、データバス、コントロールバスを含む）408を介して、CPU401により制御される。
【００４７】
図５のフローチャートを用いて、画像撮影装置200の動作を説明する。Ｓ501で、画像撮影装置200の電源がオンされているか否かを判定する。Ｓ501で、電源が入っていれば、Ｓ502で画像撮影装置200と画像配信装置300との通信を確立する。通信は、例えば無線ネットワークを通じて行われる。Ｓ503で、録画ボタンが押されたかを判定する。録画が開始した場合には、Ｓ506で撮影中の映像信号を画像配信装置200へ送信する。Ｓ503で、録画開始しない場合には、Ｓ504に進み、符号化開始要求を受信する。Ｓ505で符号化を開始して、Ｓ506で撮影中の画像を画像配信装置へ送信する。
【００４８】
図６のフローチャートを用いて、画像配信装置300の動作を説明する。Ｓ601で、画像配信装置300と画像撮影装置200及び画像表示装置400との通信を確立する。Ｓ608で視聴しているか否かを判定する。視聴しているか否かの判定は、画像表示装置400に備えたセンサ409からの被写体情報を被写体情報受信部306で受信する。受信した被写体情報は、視聴状態検出部307にて、人物の顔を検出して画像表示装置を視聴しているか否かを判定する。Ｓ602とＳ606では、映像信号を受信しているか否かを判定する。受信しているか否かの判定は、画像撮影装置200で撮影している映像信号を映像信号受信部301で受信しているか否かを映像信号受信有無判別部303で判定する。
【００４９】
画像表示装置400で視聴しており、且つ画像撮影装置200からの映像信号を受信している場合には、Ｓ603でリアルタイム映像信号を配信する。前記リアルタイム映像信号の配信は、映像信号受信部301で受信した映像信号を、映像信号選択部304で選択して、映像信号送信部308で画像表示装置400に配信することで実現する。
【００５０】
画像表示装置400で視聴しており、且つ画像撮影装置200からの映像信号を受信していない場合には、Ｓ604で符号化開始要求送信部305から画像撮影装置200に対して、符号化開始要求を送信する。このとき、画像撮影装置200は、符号化開始要求を受信すると、符号化開始要求を受信して、エンコーダ202の符号化を開始したことを液晶パネル216に表示する。Ｓ609では、Ｓ602の判定と同様に、映像信号を受信したか否かを判定する。Ｓ609で、映像信号を受信した場合には、Ｓ603に進んでリアルタイム映像信号を画像表示装置400に配信する。リアルタイム映像信号の配信を開始すると、Ｓ608に進み、画像表示装置400で視聴しているか否かを判定する。リアルタイム映像信号を配信中においても、画像表示装置400の視聴状態と画像撮影装置200からの映像信号の受信状態とを検出する。
【００５１】
Ｓ609で、映像信号を受信していない場合には、Ｓ605で未視聴映像を画像表示装置400に配信する。未視聴映像配信中は、Ｓ609に進んで、所定間隔で映像信号を受信したかを判断する。Ｓ605では、画像配信装置300の映像信号蓄積部302に蓄えられた映像信号から映像信号又は映像信号の一部の未視聴映像を配信するようにCPＵから指示する。
【００５２】
画像表示装置400で視聴しておらず、且つ画像撮影装置200からの映像信号を受信している場合には、Ｓ607で未視聴期間を検出する。未視聴期間の検出は、画像表示装置400から受信した被写体情報から視聴状態検出部307で視聴者の視聴状態を検出する。このとき、映像信号受信部301から受信した映像信号は、映像信号蓄積部302に蓄積して、蓄積中の映像信号の未視聴期間としてＣＰＵが保持しておく。
【００５３】
画像表示装置400で視聴しておらず、且つ画像撮影装置200からの映像信号を受信していない場合には、終了する。
【００５４】
図７のフローチャートを用いて、画像表示装置400の動作を説明する。Ｓ701で、画像表示装置400の電源が入っているか否かを判別する。S701で、電源が入っていれば、S702で画像表示装置400と画像配信装置300との通信を確立する。Ｓ702で、通信が確立したら、画像表示装置400に設けたセンサ409からの被写体情報を画像配信装置300に送信する。Ｓ704で、画像配信装置300からの映像信号を受信しているか否かを判定する。映像信号を受信している場合には、Ｓ705で受信中の映像信号をRAM404に一時的に格納して、デコーダ部402でデコードしてディスプレイ405に表示する。Ｓ704で、映像信号を受信していない場合は、Ｓ706でメモリカード407に格納されている静止画データを読み出し、デコーダ部402でデコードして現在時刻と共にディスプレイ405に表示する。
【００５５】
以上により、リアルタイムの映像信号を優先して視聴することができ、且つカメラからの入力映像が途切れた場合においても、未視聴映像を視聴することが可能である。
【符号の説明】
【００５６】
100・・・ネットワーク、200・・・画像撮影装置、201・・・レンズ、202・・・エンコーダ部、203・・・バス、204・・・ＣＣＤ、205・・・Ａ／Ｄ、206・・・メモリ、207・・・音声出力部、208・・・デコーダ部、209・・・マイクユニット、210・・・CPU、211・・・EEPROM、212・・・スイッチ操作部、213・・・ＯＳＤ、214・・・ＥＶＦ、215・・・タッチパネル操作部、216・・・液晶パネル、217・・・映像出力部、218・・・カメラ制御CPU、219・・・Ａ／Ｄ、220・・・メモリカード、221・・・記録再生回路、222・・・画面制御部、226・・・映像信号送信部、227・・・符号化開始要求受信部、300・・・映像配信装置、301・・・映像信号受信部、302・・・映像信号蓄積部、303・・・映像信号受信有無判別部、304・・・映像信号選択部、305・・・符号化開始要求送信部、306・・・被写体情報受信部、307・・・視聴状態検出部、308・・・映像信号送信部、309・・・CPU、310・・・バス、400・・・画像表示装置、401・・・CPU、402・・・デコーダ部、403・・・EEPROM、404・・・RAM、405・・・ディスプレイ、406・・・時計IC、407・・・メモリカード、408・・・バス、409・・・センサ、410・・・映像信号受信部、411・・・被写体情報送信部
【特許請求の範囲】
【請求項１】
画像撮影装置から映像信号を受信して、画像表示装置に映像信号を送信する画像配信装置であって、画像表示装置に備えたセンサからの被写体情報を受信する被写体情報受信手段と、
前記被写体情報から視聴の有無を検出する視聴状態検出手段と、
画像撮影装置で符号化された映像信号を受信する映像信号受信手段と、
前記映像信号の受信の有無を判別する映像信号受信有無判別手段と、
前記映像信号を表示手段に送信する映像信号送信手段と、
画像撮影装置に符号化の開始要求を送信する符号化開始要求送信手段と、を有し、
視聴状態検出手段の視聴があり、且つ映像信号受信有無判別手段の受信が無い場合には、画像撮影装置に符号化の開始要求を送信することを特徴とする画像配信装置。
【請求項２】
視聴状態検出手段の視聴があり、且つ映像信号受信有無判別手段の受信がある場合には、映像信号受信手段の映像信号を表示手段に送信することを特徴とする請求項１に記載の画像配信装置。
【請求項３】
視聴状態検出手段の視聴がなく、且つ映像信号受信有無判別手段の受信がある場合には、未視聴期間を検出することを特徴とする請求項１に記載の画像配信装置。
【請求項４】
映像信号を蓄積する映像信号蓄積手段と、映像信号受信手段又は映像信号蓄積手段を選択する映像信号選択手段とを備え、前記撮像装置からの映像信号を受信するまでは、映像信号蓄積手段に蓄積されている映像信号を前記画像表示手段に送信することを特徴とする請求項１に記載の画像配信装置。
【請求項５】
前記画像撮影装置は、前記符号化の開始要求を受信した場合には、符号化を開始することを特徴とする請求項１に記載の画像配信装置。
【請求項６】
前記画像表示装置は、被写体を検出するセンサを備え、被写体情報を送信することを特徴とする請求項１に記載の画像配信装置。
【請求項１】
画像撮影装置から映像信号を受信して、画像表示装置に映像信号を送信する画像配信装置であって、画像表示装置に備えたセンサからの被写体情報を受信する被写体情報受信手段と、
前記被写体情報から視聴の有無を検出する視聴状態検出手段と、
画像撮影装置で符号化された映像信号を受信する映像信号受信手段と、
前記映像信号の受信の有無を判別する映像信号受信有無判別手段と、
前記映像信号を表示手段に送信する映像信号送信手段と、
画像撮影装置に符号化の開始要求を送信する符号化開始要求送信手段と、を有し、
視聴状態検出手段の視聴があり、且つ映像信号受信有無判別手段の受信が無い場合には、画像撮影装置に符号化の開始要求を送信することを特徴とする画像配信装置。
【請求項２】
視聴状態検出手段の視聴があり、且つ映像信号受信有無判別手段の受信がある場合には、映像信号受信手段の映像信号を表示手段に送信することを特徴とする請求項１に記載の画像配信装置。
【請求項３】
視聴状態検出手段の視聴がなく、且つ映像信号受信有無判別手段の受信がある場合には、未視聴期間を検出することを特徴とする請求項１に記載の画像配信装置。
【請求項４】
映像信号を蓄積する映像信号蓄積手段と、映像信号受信手段又は映像信号蓄積手段を選択する映像信号選択手段とを備え、前記撮像装置からの映像信号を受信するまでは、映像信号蓄積手段に蓄積されている映像信号を前記画像表示手段に送信することを特徴とする請求項１に記載の画像配信装置。
【請求項５】
前記画像撮影装置は、前記符号化の開始要求を受信した場合には、符号化を開始することを特徴とする請求項１に記載の画像配信装置。
【請求項６】
前記画像表示装置は、被写体を検出するセンサを備え、被写体情報を送信することを特徴とする請求項１に記載の画像配信装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１２−１５６７５５（Ｐ２０１２−１５６７５５Ａ）
【公開日】平成２４年８月１６日（２０１２．８．１６）
【国際特許分類】
【出願番号】特願２０１１−１３７２５（Ｐ２０１１−１３７２５）
【出願日】平成２３年１月２６日（２０１１．１．２６）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
【公開日】平成２４年８月１６日（２０１２．８．１６）
【国際特許分類】
【出願日】平成２３年１月２６日（２０１１．１．２６）
【出願人】（０００００１００７）キヤノン株式会社 (59,756)
【Ｆターム（参考）】
[ Back to top ]