画像送信装置及びそれを備えた画像伝送システム
【課題】画像送信装置において、画質の低下を抑制しつつ、低消費電力の無線通信方式にも対応する程度に、低ビットレート化を図る。
【解決手段】輝度の１階時間微分値ｄＹ／ｄｔ、輝度の２階時間微分値ｄ2Ｙ／ｄｔ2、Ｉフレームを挿入した後の経過時間ｔ等から画質の劣化を予測する。画質の劣化が予測されたとき、画像情報の送信に用いる周波数帯域を一時的に拡張して、画像情報にＩフレームを挿入する。画質の劣化が予測されないとき、Ｐフレームを送信する。
【解決手段】輝度の１階時間微分値ｄＹ／ｄｔ、輝度の２階時間微分値ｄ2Ｙ／ｄｔ2、Ｉフレームを挿入した後の経過時間ｔ等から画質の劣化を予測する。画質の劣化が予測されたとき、画像情報の送信に用いる周波数帯域を一時的に拡張して、画像情報にＩフレームを挿入する。画質の劣化が予測されないとき、Ｐフレームを送信する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像した画像情報を送信する画像送信装置等の技術に関する。
【背景技術】
【０００２】
従来から、画像情報を圧縮して送信する場合に、画像の変化領域を抽出し、送信する技術が知られている。近年、画像情報を圧縮して送信する技術は、家屋内外の要所に配設されたカメラで撮像された画像を家屋内のモニタで表示可能とするいわゆるホームセキュリティシステムへの応用が検討されている。ホームセキュリティシステムにおいては、カメラからモニタに画像情報を送信する際に、無線ＬＡＮの他にもBluetooth、ZigBee、特定小電力無線など低消費電力の無線方式を適用する技術が検討されている。
【０００３】
これらの低消費電力の無線通信方式は、無線ＬＡＮと比較すると、電力を抑えた分通信信頼性を確保するため、通信に使用できる周波数帯域は狭い。そのため、ホームセキュリティシステムにこれら低消費電力の無線通信を適用する場合には、画像情報を圧縮することにより、送信に必要なビットレートを少なくすることが要求される。
【０００４】
ホームセキュリティシステムの用途において良好な動画性能を得るためには、ＱＶＧＡ相当の解像度（３２０×２４０ドット）では、１５〜３０ｆｐｓ程度以上のフレームレートが望ましい。また、ＶＧＡ相当の解像度（６４０×４８０ドット）でも、７．５〜１５ｆｐｓ程度以上のフレームレートが望ましい。ところが、上記解像度とフレームレートの組み合わせによる画像情報を送信する場合であっても、低消費電力の無線通信方式で伝送可能なビットレートを超えることがある。
【０００５】
画像情報を圧縮する技術としては、特許文献１に示されるＨ．２６４やＭＰＥＧ等の規格が知られている。このような符号化方式においては、フレーム内の情報のみを使用して符号化するＩフレーム（Intra-coded Frame）と直前のフレームとの差分情報を符号化するＰフレーム（Predictive Frame）によって、画像情報が構成される。Ｉフレームは、所定時間毎に又はシーンチェンジの際に挿入される。
【０００６】
図１０は、所定時間毎にＩフレームの画像情報を挿入して、画質の低下を抑制する例を示す。この例においては、情報量の多いＩフレームを定期的に挿入するために、画像情報の送信に要する周波数帯域を広く確保しておく必要があり、画像情報の圧縮率が低下する。従って、低消費電力の無線通信方式に対応できない虞がある。
【０００７】
一方、ホームセキュリティシステムにおいては、画像を撮像するカメラは固定されているため、シーンチェンジが発生しない。従って、最初にＩフレームの画像情報を送信した後は、Ｐフレームの画像情報のみを送信すればよいとする考え方もある。
【０００８】
図１１は、カメラが固定されていることを前提に、最初にＩフレームの画像情報を送信し、その後Ｐフレームの画像情報のみを送信する例を示す。この例においては、一旦Ｉフレームの画像情報を送信した後は、情報量の少ないＰフレームの画像情報のみを送信すればよいので、画像情報の圧縮率が高められ、低消費電力の無線通信方式に対応する狭い周波数帯域で画像情報を送信することも可能ではある。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開平１０−１１２８５２号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、図１１に示した例においては、カメラの視野内に訪問者が現れた場合のように、撮像画像内の被写体の動きが激しくなると、Ｉフレームの画像との差が大きくなるため、画質が劣化する虞がある。また、Ｐフレームを構成する差分情報の量が大きくなるため、画像情報の圧縮率が低下することが懸念される。
【００１１】
本発明は、上記課題を解決するためになされたものであり、実用上問題となる画質の低下を抑制しつつ、低消費電力の無線通信方式にも対応する程度に、低ビットレート化を図ることができる画像送信装置等を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記目的を達成するために本発明の画像送信装置は、画像情報を送信する送信手段と、画質の劣化を予測する画質劣化予測手段と、前記画質劣化予測手段によって画質の劣化が予測されたとき、画像情報の送信に用いる周波数帯域を一時的に拡張する帯域拡張手段とを備えたことを特徴とするものである。
【００１３】
この発明において、前記画質劣化予測手段によって画質の劣化が予測されたとき、送信する画像情報にＩフレームを挿入するＩフレーム挿入手段を備えることが好ましい。
【００１４】
この発明において、前記Ｉフレーム挿入手段によって挿入されたＩフレームの画像情報が送信された後、Ｐフレームの画像情報の送信に用いる周波数帯域を縮小する帯域縮小手段を備えることが好ましい。
【００１５】
この発明において、前記帯域拡張手段は、前記画質劣化予測手段によって予測された画質の劣化の度合いに応じて、周波数帯域を拡張する期間を変更することが好ましい。
【００１６】
この発明において、前記帯域拡張手段は、前記画質劣化予測手段によって予測された画質の劣化の度合いに応じて、拡張する周波数帯域の帯域幅を変更することが好ましい。
【００１７】
この発明において、前記画質劣化予測手段は、送信する画像の輝度の１階時間微分値が第１閾値以上であるとき、画質が劣化したと判断することが好ましい。
【００１８】
この発明において、前記画質劣化予測手段は、送信する画像の輝度の１階時間微分値と、Ｉフレームを挿入した後の経過時間を変数とする単調増加関数値と、の積が第２閾値以上であるとき、画質が劣化したと判断することが好ましい。
【００１９】
この発明において、前記画質劣化予測手段は、送信する画像の輝度の２階時間微分値が第３閾値以上であるとき、画質が劣化したと判断することが好ましい。
【００２０】
この発明において、前記画質劣化予測手段は、送信する画像の輝度の２階時間微分値と、Ｉフレームを挿入した後の経過時間を変数とする単調増加関数値と、の積が第４閾値以上であるとき、画質が劣化したと判断することが好ましい。
【００２１】
この発明において、前記画質劣化予測手段は、送信する画像の輝度の１階時間微分値と、該輝度の２階時間微分値と、の積が第５閾値以上であるとき、画質が劣化したと判断することが好ましい。
【００２２】
この発明において、前記画質劣化予測手段は、送信する画像の輝度の１階時間微分値と、該輝度の２階時間微分値と、Ｉフレームを挿入した後の経過時間を変数とする単調増加関数値と、の積が第６閾値以上であるとき、画質が劣化したと判断することが好ましい。
【００２３】
この発明において、前記画質劣化予測手段は、Ｉフレームを挿入した後の経過時間が第７閾値以上であるとき、画質が劣化したと判断することが好ましい。
【００２４】
この発明において、前記画質劣化予測手段は、Ｉフレームを挿入した後の経過時間が第７閾値未満であるとき、画質が劣化していないと判断することが好ましい。
【００２５】
この発明において、前記第１閾値乃至前記第７閾値は、任意に設定可能であることが好ましい。
【００２６】
この発明において、前記単調増加関数は、Ｉフレームを挿入した後の経過時間を変数とする一次関数よりも関数値の増加が大きいことが好ましい。
【００２７】
この発明において、前記単調増加関数は、Ｉフレームを挿入した後の経過時間を変数とする一次関数よりも関数値の増加が小さいことが好ましい。
【００２８】
この発明において、前記画質劣化予測手段は、送信する画像情報から所定の間隔で抽出したフレームの画像の輝度について、前記１階時間微分値及び／又は前記２階時間微分値を算出することが好ましい。
【００２９】
また、本発明の画像伝送システムは、上記画像送信装置を備えることが好ましい。
【発明の効果】
【００３０】
本発明の画像送信装置によれば、画質劣化予測手段によって画質の劣化が予測されたとき、帯域拡張手段によって画像情報の送信に用いる周波数帯域が一時的に拡張される。従って、一時的に拡張された周波数帯域を用いて送信する画像情報の情報量を増やすことにより、画像の劣化を抑制することができる。これにより、画質の低下を抑制しつつ、低消費電力の無線通信方式にも対応する程度に、低ビットレート化を図ることができる。
【図面の簡単な説明】
【００３１】
【図１】本発明の一実施形態による画像送信装置を備えたホームセキュリティ向け無線画像音声伝送システムのブロック図。
【図２】同画像音声送信装置から送信される画像情報のフレーム構成、情報量の推移及び送信に用いられる周波数帯域を示す図。
【図３】カメラによって撮像された画像の輝度の１階時間微分値の波形の一例を示す図。
【図４】Ｉフレームを挿入した後の経過時間を変数とする単調増加関数の例を示す図。
【図５】輝度の１階時間微分値と、単調増加関数値との積の波形を示す図。
【図６】カメラによって撮像された画像の輝度の２階時間微分値の波形を示す図。
【図７】輝度の２階時間微分値と、単調増加関数値との積の波形を示す図。
【図８】輝度の１階時間微分値と、輝度の２階時間微分値との積の波形を示す図。
【図９】輝度の１階時間微分値と、輝度の２階時間微分値と、単調増加関数値との積の波形を示す図。
【図１０】従来の符号化方式による画像音声送信装置から送信される画像情報のフレーム構成、情報量の推移及び送信に用いられる周波数帯域を示す図。
【図１１】従来の別の画像音声送信装置から送信される画像情報のフレーム構成、情報量の推移及び送信に用いられる周波数帯域を示す図。
【発明を実施するための形態】
【００３２】
本発明の一実施形態による画像送信装置を備えたホームセキュリティ向けの無線画像音声伝送システム（画像伝送システム）について図面を参照して説明する。図１は、無線画像音声伝送システム１を示す。無線画像音声伝送システム１は、屋外又は屋内に設置される画像音声送信装置１０と、屋内に設置される画像音声受信装置２０等によって構成される。監視対象場所が複数存在する場合は、複数の画像音声送信装置１０が設けられる。
【００３３】
画像音声送信装置１０は、カメラ（撮像手段）１１によって撮像した画像情報及びマイク１２によって集音した音声情報を送信する。画像音声受信装置２０は、画像音声送信装置１０から送信された画像情報及び音声情報を受信して、モニタ２４及びスピーカ２５によって再生する。これにより、訪問者や不審者の画像や音声を確認でき、これらの情報は、必要に応じて、画像音声受信装置２０等に保存される。画像音声送信装置１０と画像音声受信装置２０とは、例えば低消費電力の無線通信方式の一つである特定小電力無線を用いて通信される。また、画像音声送信装置１０と画像音声受信装置２０は、必要に応じて双方向に通信可能に構成され、画像情報及び音声情報の他、各種の制御信号が送受信される。
【００３４】
画像音声送信装置１０は、カメラ１１と、マイク１２と、メモリ（記憶手段）１３と、ＣＰＵ（画質劣化予測手段、帯域拡張手段、Ｉフレーム挿入手段、帯域縮小手段）１４と、送信部（送信手段）１５と、タイマ（時間計数手段、時刻計数手段）１６と、操作スイッチ（操作入力手段）１７と、電池（図示せず）等を備える。カメラ１１は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子（Image Sensor）を有し、画像音声送信装置１０の周辺の被写体を撮像して電子的な画像情報に変換して出力する。マイク１２は、画像音声送信装置１０の周辺の音声を集音して電子的な音声情報に変換して出力する。メモリ１３は、カメラ１１から入力された画像情報の他、ＣＰＵ１４の動作に必要な情報を記憶する。ＣＰＵ１４は、画像音声送信装置１０の各部を制御する。例えば、ＣＰＵ１４は、送信しようとする画像の劣化を予測して、送信部１５が画像情報を送信する際に使用される周波数帯域を拡張／縮小制御する。送信部１５は、カメラ１１から入力された画像情報及びマイク１２から入力された音声情報の他、各種の信号を特定小電力無線にて送信する。特定小電力無線のような低消費電力の無線通信方式は、送信に要する電力を抑制できるので、電池の消耗を抑制し、その交換サイクルを長くすることができる。
【００３５】
タイマ１６は、時間を計数する。タイマ１６は、基準となる時刻を設定することにより、時刻を計数する時計としても機能する。操作スイッチ１７は、ユーザ又は訪問者によって操作される。操作スイッチ１７は、例えば、屋外のユーザ又は訪問者と屋内のユーザとが無線画像音声伝送システム１を介して会話をする際に操作される。操作スイッチ１７が操作されると、その旨の信号がＣＰＵ１４に入力され、送信部（送信手段）１５から画像音声受信装置２０に各種の信号が送信される。
【００３６】
画像音声受信装置２０は、受信部（受信手段）２１と、メモリ（記憶手段）２２と、ＣＰＵ（画像再生手段）２３と、モニタ２４と、スピーカ２５等を備える。受信部２１は、送信部１５から送信された画像情報及び音声情報の他、各種の信号を受信する。メモリ２２は、受信部２１によって受信された画像情報の他、ＣＰＵ２３の動作に必要な情報を記憶する。ＣＰＵ２３は、画像音声受信装置２０の各部を制御する。モニタ２４は、受信部２１によって受信された画像情報を表示する。スピーカ２５は、受信部２１によって受信された音声情報を再生する。
【００３７】
図２は、画像音声送信装置１０から送信される画像情報のフレーム構成、情報量の推移及び送信に用いられる周波数帯域を示す。画像情報は、フレーム内の情報のみで符号化され間欠的に挿入される複数のＩフレームと、直前のフレームとの差分情報で符号化されるＰフレームによって構成される。Ｉフレームが送信されるとき、画像情報の情報量が一時的に増加するので、画像音声送信装置１０は、送信部１５が画像情報の送信に用いる周波数帯域を一時的に拡張する。Ｉフレームの画像情報が送信された後、Ｐフレームの画像情報が送信されるとき、画像情報の情報量が減少するので、画像音声送信装置１０は、送信部１５が画像情報の送信に用いる周波数帯域を元通りに縮小する。送信部１５が画像情報を送信する際に用いる周波数帯域の拡張／縮小は、ＣＰＵ１４によって制御される。ＣＰＵ１４は、送信する画像の輝度の変化やＩフレームを挿入した後の経過時間等に基づいて画質の劣化を予測し、その劣化の度合いに応じて周波数帯域の帯域幅を動的に変更する。そして、変更した帯域幅に応じて画像情報にＩフレームを適宜挿入し、送信部１５を介して送信させる。なお、Ｉフレームを挿入した後の経過時間は、タイマ１６によって計数される。
【００３８】
周波数帯域を拡張する期間の長さや帯域幅は、Ｉフレームの情報量（ビットレート）や、画質の劣化度合いに応じて定められる。例えば、ＣＰＵ１４は、画質の劣化度合いが大きいと予測したとき、周波数帯域を拡張する期間が長くなるように送信部１５を制御する。また、画質の劣化度合いが大きいと予測したとき、拡張する周波数帯域の帯域幅が大きくなるように送信部１５を制御する。これらの制御によって、より情報量の多いＩフレームの画像情報を送信でき、画質の劣化を抑制できる。
【００３９】
一方、ＣＰＵ１４は、画質の劣化度合いが小さいと予測したとき、周波数帯域を拡張する期間が短くなるように送信部１５を制御する。また、画質の劣化度合いが小さいと予測したとき、拡張する周波数帯域の帯域幅が小さくなるように送信部１５を制御する。
【００４０】
画質の劣化度合いは、例えば、後述する画質の劣化予測の手法において算出した値、又はこの算出した値が所定の閾値を超える頻度に基づいて予測できる。
【００４１】
以下、図３乃至図９を参照して、ＣＰＵ１４による画質の劣化予測の手法について説明する。ＣＰＵ１４が実行する画質劣化の予測の手法は１つに限られず、各手法を適宜組み合わせて画質の劣化を予測してもよい。
【００４２】
図３は、カメラ１１によって撮像された画像の輝度変化、すなわち輝度の１階時間微分値ｄＹ／ｄｔの推移を示す。輝度変化とは、各画素毎の輝度変化量の総和を各フレーム毎に算出したものをいう。全ての画素について輝度変化量の総和を算出する形態に限られず、中間の画素を間引くことにより、代表的な特定の画素について輝度変化量の総和を算出する形態であってもよい。輝度変化は、カメラ１１によって撮像された画像、すなわち被写体の変化に依存するので、図３に示した波形に限られず、様々な波形が想定される。同図においては、一例として、期間ｔ１において画像の輝度はほとんど変化せず、期間ｔ２において訪問者等が現れ、動くことにより画像の輝度の変化が大きくなり、期間ｔ３において画像の輝度の変化が元に戻る波形を示している。
【００４３】
ＣＰＵ１４は、カメラ１１によって撮像され、メモリ１３に記憶された画像の輝度の１階時間微分値ｄＹ／ｄｔを算出する。輝度の１階時間微分値ｄＹ／ｄｔは、カメラ１１によって撮像されたフレーム毎に算出され、図３の波形を構成する。算出された輝度の１階時間微分値ｄＹ／ｄｔは、第１閾値と比較される。画像の輝度変化が大きくなり、輝度の１階時間微分値ｄＹ／ｄｔが第１閾値以上になると、ＣＰＵ１４は、画質が劣化しているであろうと判断し、Ｉフレームを挿入し、周波数帯域を拡大して送信部１５から画像情報を送信させる。図中黒塗り円は、Ｉフレームを挿入するタイミングを示す。輝度の１階時間微分値ｄＹ／ｄｔが第１閾値以上である期間が長いときは、Ｉフレームを定期的に挿入し、その他のタイミングではＰフレームを送信する。このとき、Ｉフレームの挿入に応じて周波数帯域の帯域幅を動的に変更する。これにより、画像の輝度変化が大きくなって画質の劣化が予測されたとき、Ｉフレームが挿入されるので、画質の劣化を抑制できる。
【００４４】
画質の劣化の予測には、輝度の１階時間微分値ｄＹ／ｄｔと、Ｉフレームを挿入した後の経過時間ｔを変数とする単調増加関数値と、の積を用いてもよい。単調増加関数とは、経過時間ｔの増加に応じて、常に関数値Ｔ＝ｆ（ｔ）が増加する関数をいう。
【００４５】
図４は、単調増加関数の例を示す。同図において、実線は、Ｉフレームを挿入した後の経過時間ｔを変数とする一次関数を示す。一点鎖線は、経過時間ｔの増加に伴い、一次関数よりも関数値の増加が大きくなる関数（例えば、二次関数、指数関数等の変化が急峻な関数）を示す。破線は、経過時間ｔの増加に伴い、一次関数よりも関数値の増加が小さくなる関数（例えば、ｎ次根関数（ｎは自然数）、対数関数等の変化が穏やかな関数）を示す。これらは、いずれも単調増加関数である。
【００４６】
図５は、図３に示した輝度の１階時間微分値ｄＹ／ｄｔと、Ｉフレームを挿入した後の経過時間ｔを変数とする単調増加関数値と、の積を示す。横軸の時間は、図３に対応する。また、実線、一点鎖線及び破線は、乗じた単調増加関数（図４参照）に対応する。
【００４７】
ＣＰＵ１４は、輝度の１階時間微分値ｄＹ／ｄｔと、Ｉフレームを挿入した後の経過時間ｔを変数とする単調増加関数値と、の積を算出する。算出された積は、第２閾値と比較される。積が大きくなり、第２閾値以上になると、ＣＰＵ１４は、画質が劣化しているであろうと判断し、Ｉフレームを挿入し、周波数帯域を拡大して送信部１５から画像情報を送信させる。Ｉフレームが送信されると、経過時間ｔが０にリセットされるので、積の値は急減する。積が第２閾値未満に低下すると、Ｐフレームが送信される。
【００４８】
輝度の１階時間微分値ｄＹ／ｄｔと、単調増加関数値との積が、第２閾値に達するタイミングは、計算に用いた単調増加関数によって異なる。一点鎖線で示す関数、すなわち経過時間ｔの増加に伴い急峻に変化する関数では、積が第２閾値に達するタイミングが早くなり、頻繁にＩフレームが挿入されることとなる。その結果、画質の劣化が抑制され、品質の高い動画が得られる。
【００４９】
一方、破線で示す関数、すなわち経過時間ｔの増加に伴い穏やかに変化する関数では、積が第２閾値に達するタイミングが遅くなり、Ｉフレームが挿入される頻度が低下する。その結果、画像情報の送信に用いられる周波数帯域の幅が狭くても、安定した通信を行うことができる。すなわち、低消費電力で、安定した通信を行うことができる。どの単調増加関数を用いるかは、画像音声送信装置１０と画像音声受信装置２０との間の通信環境や、無線通信方式の仕様等に応じて決定すればよい。
【００５０】
このように、輝度の１階時間微分値ｄＹ／ｄｔと、Ｉフレームを挿入した後の経過時間ｔを変数とする単調増加関数値と、の積に基づいて画質の劣化を予測する形態においては、Ｉフレームを挿入した後の経過時間ｔの要素を加味して、画質の劣化を判断できる。従って、輝度の１階時間微分値ｄＹ／ｄｔのみを用いて判断する手法と比較すると、より高精度に画質の劣化を予測することができる。
【００５１】
（変形例）
図６は、カメラ１１によって撮像された画像の輝度変化の傾き、すなわち輝度の２階時間微分値ｄ2Ｙ／ｄｔ2の推移を示す。横軸の時間は、図３に対応する。輝度の２階時間微分値ｄ2Ｙ／ｄｔ2は、図３に示した画像の輝度変化を、さらに1階時間微分することにより算出できる。
【００５２】
ＣＰＵ１４は、カメラ１１によって撮像され、メモリ１３に記憶された画像の輝度の２階時間微分値ｄ2Ｙ／ｄｔ2を算出する。算出された輝度の２階時間微分値ｄ2Ｙ／ｄｔ2は、第３閾値と比較される。画像の輝度変化の度合いが大きくなり、輝度の２階時間微分値ｄ2Ｙ／ｄｔ2が第３閾値以上になると、ＣＰＵ１４は、画質が劣化しているであろうと判断し、Ｉフレームを挿入し、周波数帯域を拡大して送信部１５から画像情報を送信させる。このとき、Ｉフレームの挿入に応じて周波数帯域の帯域幅を動的に変更する。これにより、画像の輝度変化の度合いが大きくなって画質の劣化が予測されたとき、Ｉフレームが挿入されるので、画質の劣化を抑制できる。
【００５３】
画質の劣化の予測には、輝度の２階時間微分値ｄ2Ｙ／ｄｔ2と、Ｉフレームを挿入した後の経過時間ｔを変数とする単調増加関数値と、の積を用いてもよい。
【００５４】
図７は、図６に示した輝度の２階時間微分値ｄ2Ｙ／ｄｔ2と、Ｉフレームを挿入した後の経過時間ｔを変数とする単調増加関数値と、の積を示す。横軸の時間は、図３に対応する。また、実線、一点鎖線及び破線は、乗じた単調増加関数（図４参照）に対応する。
【００５５】
ＣＰＵ１４は、輝度の２階時間微分値ｄ2Ｙ／ｄｔ2と、Ｉフレームを挿入した後の経過時間ｔを変数とする単調増加関数値と、の積を算出する。算出された積は、第４閾値と比較される。積が大きくなり、第４閾値以上になると、ＣＰＵ１４は、画質が劣化しているであろうと判断し、Ｉフレームを挿入し、周波数帯域を拡大して送信部１５から画像情報を送信させる。Ｉフレームが送信されると、経過時間ｔが０にリセットされるので、積の値は急減する。積が第４閾値未満に低下すると、Ｐフレームが送信される。
【００５６】
この図７においても、図５と同様に、輝度の２階時間微分値ｄ2Ｙ／ｄｔ2と、単調増加関数値との積が、第４閾値に達するタイミングは、計算に用いた単調増加関数によって異なる。どの単調増加関数を用いるかは、画像音声送信装置１０と画像音声受信装置２０との間の通信環境や、無線通信方式の仕様等に応じて決定すればよい。
【００５７】
このように、輝度の２階時間微分値ｄ2Ｙ／ｄｔ2と、Ｉフレームを挿入した後の経過時間ｔを変数とする単調増加関数値と、の積に基づいて画質の劣化を予測する形態においては、Ｉフレームを挿入した後の経過時間ｔの要素を加味して、画質の劣化を判断できる。従って、輝度の２階時間微分値ｄ2Ｙ／ｄｔ2のみを用いて判断する手法と比較すると、より高精度に画質の劣化を予測することができる。
【００５８】
（変形例）
図８は、図３に示した輝度の１階時間微分値ｄＹ／ｄｔと、図６に示した輝度の２階時間微分値ｄ2Ｙ／ｄｔ2の積を示す。横軸の時間は、図３に対応する。
【００５９】
ＣＰＵ１４は、輝度の１階時間微分値ｄＹ／ｄｔと、輝度の２階時間微分値ｄ2Ｙ／ｄｔ2と、の積を算出する。算出された積は、第５閾値と比較される。積が大きくなり、第５閾値以上になると、ＣＰＵ１４は、画質が劣化しているであろうと判断し、Ｉフレームを挿入し、周波数帯域を拡大して送信部１５から画像情報を送信させる。このとき、Ｉフレームの挿入に応じて周波数帯域の帯域幅を動的に変更する。これにより、画像の輝度変化の度合いが大きくなって画質の劣化が予測されたとき、Ｉフレームが挿入されるので、画質の劣化を抑制できる。
【００６０】
このように、輝度の１階時間微分値ｄＹ／ｄｔと、輝度の２階時間微分値ｄ2Ｙ／ｄｔ2と、の積に基づいて画質の劣化を予測する形態においては、それぞれの微分値を個別に評価する手法よりも、高精度に画質の劣化を予測することができる。
【００６１】
図９は、図３に示した輝度の１階時間微分値ｄＹ／ｄｔと、図６に示した輝度の２階時間微分値ｄ2Ｙ／ｄｔ2と、Ｉフレームを挿入した後の経過時間ｔを変数とする単調増加関数値と、の積を示す。横軸の時間は、図３に対応する。また、実線、一点鎖線及び破線は、乗じた単調増加関数（図４参照）に対応する。
【００６２】
ＣＰＵ１４は、輝度の１階時間微分値ｄＹ／ｄｔと、輝度の２階時間微分値ｄ2Ｙ／ｄｔ2と、Ｉフレームを挿入した後の経過時間ｔを変数とする単調増加関数値と、の積を算出する。算出された積は、第６閾値と比較される。積が大きくなり、第６閾値以上になると、ＣＰＵ１４は、画質が劣化しているであろうと判断し、Ｉフレームを挿入し、周波数帯域を拡大して送信部１５から画像情報を送信させる。Ｉフレームが送信されると、経過時間ｔが０にリセットされ、積の値は急減する。積が第６閾値未満に低下すると、Ｐフレームが送信される。
【００６３】
この図９においても、図５と同様に、輝度の１階時間微分値ｄＹ／ｄｔと、輝度の２階時間微分値ｄ2Ｙ／ｄｔ2と、単調増加関数値との積が、第６閾値に達するタイミングは、計算に用いた単調増加関数によって異なる。どの単調増加関数を用いるかは、画像音声送信装置１０と画像音声受信装置２０との間の通信環境や、無線通信方式の仕様等に応じて決定すればよい。
【００６４】
このように、輝度の１階時間微分値ｄＹ／ｄｔと、２階時間微分値ｄ2Ｙ／ｄｔ2と、Ｉフレームを挿入した後の経過時間ｔの単調増加関数値と、の積に基づいて画質の劣化を予測する形態においては、経過時間ｔの要素を加味して、画質の劣化を判断できる。従って、輝度の１階時間微分値ｄＹ／ｄｔと輝度の２階時間微分値ｄ2Ｙ／ｄｔ2の積のみを用いて判断する手法と比較すると、より高精度に画質の劣化を予測することができる。
【００６５】
（変形例）
Ｈ．２６４やＭＰＥＧ等の符号化方式においては、一般に、Ｉフレームを挿入した後の経過時間ｔが長くなると、画質が劣化する傾向にある。従って、ＣＰＵ１４は、Ｉフレームを挿入した後の経過時間ｔを直接的に評価して、画質の劣化を予測する形態としてもよい。
【００６６】
例えば、図３に示すように、輝度の１階時間微分値ｄＹ／ｄｔが連続して第１閾値を超える場合であっても、Ｉフレームを挿入した後の経過時間ｔが所定の閾値（第７閾値）未満であるときは、画質が劣化していないとみなして判断する形態としてもよい。同様に、図８に示すように、輝度の１階時間微分値ｄＹ／ｄｔと、２階時間微分値ｄ2Ｙ／ｄｔ2と、の積が短い期間で複数回第５閾値を超える場合であっても、経過時間ｔが第７閾値未満であるときは、画質が劣化していないとみなして判断する形態としてもよい。すなわち、Ｉフレームを挿入した後の経過時間ｔが第７閾値未満である期間は、Ｉフレーム挿入禁止期間であると扱われる。図５、図６、図７及び図９に示した手法についても同様である。
【００６７】
一方、図３及び図５乃至図９において、縦軸の値が各閾値を超えない場合であっても、Ｉフレームを挿入した後の経過時間ｔが第７閾値以上になると、画質が劣化したとみなして判断する形態としてもよい。
【００６８】
以上のように、本実施形態の画像音声送信装置１０及び無線画像音声伝送システム１によれば、ＣＰＵ１４によって画質の劣化が予測されたとき、ＣＰＵ１４によって画像情報の送信に用いる周波数帯域が一時的に拡張される。従って、一時的に拡張された周波数帯域を用いて送信する画像情報の情報量を増やすことにより、画像の劣化を抑制することができる。これにより、画質の低下を抑制しつつ、低消費電力の無線通信方式にも対応する程度に、低ビットレート化を図ることができる。
【００６９】
なお、本発明は上記実施形態の構成に限られることなく、少なくとも、画質の劣化を予測し、画質の劣化が予測されたとき、画像情報の送信に用いる周波数帯域を一時的に拡張するように構成されていればよい。
【００７０】
また、本発明は、種々の変更が可能である。例えば、上述した第１閾値乃至第７閾値は、システムのユーザや管理者等によって、任意に設定可能に構成されていてもよい。例えば、第１閾値乃至第７閾値を大きく設定することにより、Ｉフレームを挿入するタイミングを遅延させて、その頻度を低下させることができる。これにより、画像音声送信装置１０の消費電力を低減しながら、画像音声受信装置２０との間で安定した通信を行うことができる。一方、第１閾値乃至第７閾値を小さく設定することにより、Ｉフレームを挿入するタイミングを早めて、その頻度を高めることができる。これにより、画像音声送信装置１０から劣化の少ない画像を送信することができる。
【００７１】
また、ＣＰＵ１４は、送信する画像情報から所定の間隔で抽出したフレームの画像の輝度について、輝度の１階時間微分値及び／又は２階時間微分値を算出するように構成されていてもよい。抽出されなかったフレームは間引かれて、間欠的に輝度の１階時間微分値及び／又は２階時間微分値が算出される。この構成によれば、ＣＰＵ１４の処理負担を軽減でき、更なる低消費電力化を図ることができる。
【符号の説明】
【００７２】
１ 無線画像音声伝送システム（画像伝送システム）
１０ 画像音声送信装置
１１ カメラ（撮像手段）
１２ メモリ（記憶手段）
１４ ＣＰＵ（画質劣化予測手段、帯域拡張手段、Ｉフレーム挿入手段、帯域縮小手段）
１５ 送信部（送信手段）
【技術分野】
【０００１】
本発明は、撮像した画像情報を送信する画像送信装置等の技術に関する。
【背景技術】
【０００２】
従来から、画像情報を圧縮して送信する場合に、画像の変化領域を抽出し、送信する技術が知られている。近年、画像情報を圧縮して送信する技術は、家屋内外の要所に配設されたカメラで撮像された画像を家屋内のモニタで表示可能とするいわゆるホームセキュリティシステムへの応用が検討されている。ホームセキュリティシステムにおいては、カメラからモニタに画像情報を送信する際に、無線ＬＡＮの他にもBluetooth、ZigBee、特定小電力無線など低消費電力の無線方式を適用する技術が検討されている。
【０００３】
これらの低消費電力の無線通信方式は、無線ＬＡＮと比較すると、電力を抑えた分通信信頼性を確保するため、通信に使用できる周波数帯域は狭い。そのため、ホームセキュリティシステムにこれら低消費電力の無線通信を適用する場合には、画像情報を圧縮することにより、送信に必要なビットレートを少なくすることが要求される。
【０００４】
ホームセキュリティシステムの用途において良好な動画性能を得るためには、ＱＶＧＡ相当の解像度（３２０×２４０ドット）では、１５〜３０ｆｐｓ程度以上のフレームレートが望ましい。また、ＶＧＡ相当の解像度（６４０×４８０ドット）でも、７．５〜１５ｆｐｓ程度以上のフレームレートが望ましい。ところが、上記解像度とフレームレートの組み合わせによる画像情報を送信する場合であっても、低消費電力の無線通信方式で伝送可能なビットレートを超えることがある。
【０００５】
画像情報を圧縮する技術としては、特許文献１に示されるＨ．２６４やＭＰＥＧ等の規格が知られている。このような符号化方式においては、フレーム内の情報のみを使用して符号化するＩフレーム（Intra-coded Frame）と直前のフレームとの差分情報を符号化するＰフレーム（Predictive Frame）によって、画像情報が構成される。Ｉフレームは、所定時間毎に又はシーンチェンジの際に挿入される。
【０００６】
図１０は、所定時間毎にＩフレームの画像情報を挿入して、画質の低下を抑制する例を示す。この例においては、情報量の多いＩフレームを定期的に挿入するために、画像情報の送信に要する周波数帯域を広く確保しておく必要があり、画像情報の圧縮率が低下する。従って、低消費電力の無線通信方式に対応できない虞がある。
【０００７】
一方、ホームセキュリティシステムにおいては、画像を撮像するカメラは固定されているため、シーンチェンジが発生しない。従って、最初にＩフレームの画像情報を送信した後は、Ｐフレームの画像情報のみを送信すればよいとする考え方もある。
【０００８】
図１１は、カメラが固定されていることを前提に、最初にＩフレームの画像情報を送信し、その後Ｐフレームの画像情報のみを送信する例を示す。この例においては、一旦Ｉフレームの画像情報を送信した後は、情報量の少ないＰフレームの画像情報のみを送信すればよいので、画像情報の圧縮率が高められ、低消費電力の無線通信方式に対応する狭い周波数帯域で画像情報を送信することも可能ではある。
【先行技術文献】
【特許文献】
【０００９】
【特許文献１】特開平１０−１１２８５２号公報
【発明の概要】
【発明が解決しようとする課題】
【００１０】
しかしながら、図１１に示した例においては、カメラの視野内に訪問者が現れた場合のように、撮像画像内の被写体の動きが激しくなると、Ｉフレームの画像との差が大きくなるため、画質が劣化する虞がある。また、Ｐフレームを構成する差分情報の量が大きくなるため、画像情報の圧縮率が低下することが懸念される。
【００１１】
本発明は、上記課題を解決するためになされたものであり、実用上問題となる画質の低下を抑制しつつ、低消費電力の無線通信方式にも対応する程度に、低ビットレート化を図ることができる画像送信装置等を提供することを目的とする。
【課題を解決するための手段】
【００１２】
上記目的を達成するために本発明の画像送信装置は、画像情報を送信する送信手段と、画質の劣化を予測する画質劣化予測手段と、前記画質劣化予測手段によって画質の劣化が予測されたとき、画像情報の送信に用いる周波数帯域を一時的に拡張する帯域拡張手段とを備えたことを特徴とするものである。
【００１３】
この発明において、前記画質劣化予測手段によって画質の劣化が予測されたとき、送信する画像情報にＩフレームを挿入するＩフレーム挿入手段を備えることが好ましい。
【００１４】
この発明において、前記Ｉフレーム挿入手段によって挿入されたＩフレームの画像情報が送信された後、Ｐフレームの画像情報の送信に用いる周波数帯域を縮小する帯域縮小手段を備えることが好ましい。
【００１５】
この発明において、前記帯域拡張手段は、前記画質劣化予測手段によって予測された画質の劣化の度合いに応じて、周波数帯域を拡張する期間を変更することが好ましい。
【００１６】
この発明において、前記帯域拡張手段は、前記画質劣化予測手段によって予測された画質の劣化の度合いに応じて、拡張する周波数帯域の帯域幅を変更することが好ましい。
【００１７】
この発明において、前記画質劣化予測手段は、送信する画像の輝度の１階時間微分値が第１閾値以上であるとき、画質が劣化したと判断することが好ましい。
【００１８】
この発明において、前記画質劣化予測手段は、送信する画像の輝度の１階時間微分値と、Ｉフレームを挿入した後の経過時間を変数とする単調増加関数値と、の積が第２閾値以上であるとき、画質が劣化したと判断することが好ましい。
【００１９】
この発明において、前記画質劣化予測手段は、送信する画像の輝度の２階時間微分値が第３閾値以上であるとき、画質が劣化したと判断することが好ましい。
【００２０】
この発明において、前記画質劣化予測手段は、送信する画像の輝度の２階時間微分値と、Ｉフレームを挿入した後の経過時間を変数とする単調増加関数値と、の積が第４閾値以上であるとき、画質が劣化したと判断することが好ましい。
【００２１】
この発明において、前記画質劣化予測手段は、送信する画像の輝度の１階時間微分値と、該輝度の２階時間微分値と、の積が第５閾値以上であるとき、画質が劣化したと判断することが好ましい。
【００２２】
この発明において、前記画質劣化予測手段は、送信する画像の輝度の１階時間微分値と、該輝度の２階時間微分値と、Ｉフレームを挿入した後の経過時間を変数とする単調増加関数値と、の積が第６閾値以上であるとき、画質が劣化したと判断することが好ましい。
【００２３】
この発明において、前記画質劣化予測手段は、Ｉフレームを挿入した後の経過時間が第７閾値以上であるとき、画質が劣化したと判断することが好ましい。
【００２４】
この発明において、前記画質劣化予測手段は、Ｉフレームを挿入した後の経過時間が第７閾値未満であるとき、画質が劣化していないと判断することが好ましい。
【００２５】
この発明において、前記第１閾値乃至前記第７閾値は、任意に設定可能であることが好ましい。
【００２６】
この発明において、前記単調増加関数は、Ｉフレームを挿入した後の経過時間を変数とする一次関数よりも関数値の増加が大きいことが好ましい。
【００２７】
この発明において、前記単調増加関数は、Ｉフレームを挿入した後の経過時間を変数とする一次関数よりも関数値の増加が小さいことが好ましい。
【００２８】
この発明において、前記画質劣化予測手段は、送信する画像情報から所定の間隔で抽出したフレームの画像の輝度について、前記１階時間微分値及び／又は前記２階時間微分値を算出することが好ましい。
【００２９】
また、本発明の画像伝送システムは、上記画像送信装置を備えることが好ましい。
【発明の効果】
【００３０】
本発明の画像送信装置によれば、画質劣化予測手段によって画質の劣化が予測されたとき、帯域拡張手段によって画像情報の送信に用いる周波数帯域が一時的に拡張される。従って、一時的に拡張された周波数帯域を用いて送信する画像情報の情報量を増やすことにより、画像の劣化を抑制することができる。これにより、画質の低下を抑制しつつ、低消費電力の無線通信方式にも対応する程度に、低ビットレート化を図ることができる。
【図面の簡単な説明】
【００３１】
【図１】本発明の一実施形態による画像送信装置を備えたホームセキュリティ向け無線画像音声伝送システムのブロック図。
【図２】同画像音声送信装置から送信される画像情報のフレーム構成、情報量の推移及び送信に用いられる周波数帯域を示す図。
【図３】カメラによって撮像された画像の輝度の１階時間微分値の波形の一例を示す図。
【図４】Ｉフレームを挿入した後の経過時間を変数とする単調増加関数の例を示す図。
【図５】輝度の１階時間微分値と、単調増加関数値との積の波形を示す図。
【図６】カメラによって撮像された画像の輝度の２階時間微分値の波形を示す図。
【図７】輝度の２階時間微分値と、単調増加関数値との積の波形を示す図。
【図８】輝度の１階時間微分値と、輝度の２階時間微分値との積の波形を示す図。
【図９】輝度の１階時間微分値と、輝度の２階時間微分値と、単調増加関数値との積の波形を示す図。
【図１０】従来の符号化方式による画像音声送信装置から送信される画像情報のフレーム構成、情報量の推移及び送信に用いられる周波数帯域を示す図。
【図１１】従来の別の画像音声送信装置から送信される画像情報のフレーム構成、情報量の推移及び送信に用いられる周波数帯域を示す図。
【発明を実施するための形態】
【００３２】
本発明の一実施形態による画像送信装置を備えたホームセキュリティ向けの無線画像音声伝送システム（画像伝送システム）について図面を参照して説明する。図１は、無線画像音声伝送システム１を示す。無線画像音声伝送システム１は、屋外又は屋内に設置される画像音声送信装置１０と、屋内に設置される画像音声受信装置２０等によって構成される。監視対象場所が複数存在する場合は、複数の画像音声送信装置１０が設けられる。
【００３３】
画像音声送信装置１０は、カメラ（撮像手段）１１によって撮像した画像情報及びマイク１２によって集音した音声情報を送信する。画像音声受信装置２０は、画像音声送信装置１０から送信された画像情報及び音声情報を受信して、モニタ２４及びスピーカ２５によって再生する。これにより、訪問者や不審者の画像や音声を確認でき、これらの情報は、必要に応じて、画像音声受信装置２０等に保存される。画像音声送信装置１０と画像音声受信装置２０とは、例えば低消費電力の無線通信方式の一つである特定小電力無線を用いて通信される。また、画像音声送信装置１０と画像音声受信装置２０は、必要に応じて双方向に通信可能に構成され、画像情報及び音声情報の他、各種の制御信号が送受信される。
【００３４】
画像音声送信装置１０は、カメラ１１と、マイク１２と、メモリ（記憶手段）１３と、ＣＰＵ（画質劣化予測手段、帯域拡張手段、Ｉフレーム挿入手段、帯域縮小手段）１４と、送信部（送信手段）１５と、タイマ（時間計数手段、時刻計数手段）１６と、操作スイッチ（操作入力手段）１７と、電池（図示せず）等を備える。カメラ１１は、ＣＣＤ（Charge Coupled Device）やＣＭＯＳ（Complementary Metal Oxide Semiconductor）等の撮像素子（Image Sensor）を有し、画像音声送信装置１０の周辺の被写体を撮像して電子的な画像情報に変換して出力する。マイク１２は、画像音声送信装置１０の周辺の音声を集音して電子的な音声情報に変換して出力する。メモリ１３は、カメラ１１から入力された画像情報の他、ＣＰＵ１４の動作に必要な情報を記憶する。ＣＰＵ１４は、画像音声送信装置１０の各部を制御する。例えば、ＣＰＵ１４は、送信しようとする画像の劣化を予測して、送信部１５が画像情報を送信する際に使用される周波数帯域を拡張／縮小制御する。送信部１５は、カメラ１１から入力された画像情報及びマイク１２から入力された音声情報の他、各種の信号を特定小電力無線にて送信する。特定小電力無線のような低消費電力の無線通信方式は、送信に要する電力を抑制できるので、電池の消耗を抑制し、その交換サイクルを長くすることができる。
【００３５】
タイマ１６は、時間を計数する。タイマ１６は、基準となる時刻を設定することにより、時刻を計数する時計としても機能する。操作スイッチ１７は、ユーザ又は訪問者によって操作される。操作スイッチ１７は、例えば、屋外のユーザ又は訪問者と屋内のユーザとが無線画像音声伝送システム１を介して会話をする際に操作される。操作スイッチ１７が操作されると、その旨の信号がＣＰＵ１４に入力され、送信部（送信手段）１５から画像音声受信装置２０に各種の信号が送信される。
【００３６】
画像音声受信装置２０は、受信部（受信手段）２１と、メモリ（記憶手段）２２と、ＣＰＵ（画像再生手段）２３と、モニタ２４と、スピーカ２５等を備える。受信部２１は、送信部１５から送信された画像情報及び音声情報の他、各種の信号を受信する。メモリ２２は、受信部２１によって受信された画像情報の他、ＣＰＵ２３の動作に必要な情報を記憶する。ＣＰＵ２３は、画像音声受信装置２０の各部を制御する。モニタ２４は、受信部２１によって受信された画像情報を表示する。スピーカ２５は、受信部２１によって受信された音声情報を再生する。
【００３７】
図２は、画像音声送信装置１０から送信される画像情報のフレーム構成、情報量の推移及び送信に用いられる周波数帯域を示す。画像情報は、フレーム内の情報のみで符号化され間欠的に挿入される複数のＩフレームと、直前のフレームとの差分情報で符号化されるＰフレームによって構成される。Ｉフレームが送信されるとき、画像情報の情報量が一時的に増加するので、画像音声送信装置１０は、送信部１５が画像情報の送信に用いる周波数帯域を一時的に拡張する。Ｉフレームの画像情報が送信された後、Ｐフレームの画像情報が送信されるとき、画像情報の情報量が減少するので、画像音声送信装置１０は、送信部１５が画像情報の送信に用いる周波数帯域を元通りに縮小する。送信部１５が画像情報を送信する際に用いる周波数帯域の拡張／縮小は、ＣＰＵ１４によって制御される。ＣＰＵ１４は、送信する画像の輝度の変化やＩフレームを挿入した後の経過時間等に基づいて画質の劣化を予測し、その劣化の度合いに応じて周波数帯域の帯域幅を動的に変更する。そして、変更した帯域幅に応じて画像情報にＩフレームを適宜挿入し、送信部１５を介して送信させる。なお、Ｉフレームを挿入した後の経過時間は、タイマ１６によって計数される。
【００３８】
周波数帯域を拡張する期間の長さや帯域幅は、Ｉフレームの情報量（ビットレート）や、画質の劣化度合いに応じて定められる。例えば、ＣＰＵ１４は、画質の劣化度合いが大きいと予測したとき、周波数帯域を拡張する期間が長くなるように送信部１５を制御する。また、画質の劣化度合いが大きいと予測したとき、拡張する周波数帯域の帯域幅が大きくなるように送信部１５を制御する。これらの制御によって、より情報量の多いＩフレームの画像情報を送信でき、画質の劣化を抑制できる。
【００３９】
一方、ＣＰＵ１４は、画質の劣化度合いが小さいと予測したとき、周波数帯域を拡張する期間が短くなるように送信部１５を制御する。また、画質の劣化度合いが小さいと予測したとき、拡張する周波数帯域の帯域幅が小さくなるように送信部１５を制御する。
【００４０】
画質の劣化度合いは、例えば、後述する画質の劣化予測の手法において算出した値、又はこの算出した値が所定の閾値を超える頻度に基づいて予測できる。
【００４１】
以下、図３乃至図９を参照して、ＣＰＵ１４による画質の劣化予測の手法について説明する。ＣＰＵ１４が実行する画質劣化の予測の手法は１つに限られず、各手法を適宜組み合わせて画質の劣化を予測してもよい。
【００４２】
図３は、カメラ１１によって撮像された画像の輝度変化、すなわち輝度の１階時間微分値ｄＹ／ｄｔの推移を示す。輝度変化とは、各画素毎の輝度変化量の総和を各フレーム毎に算出したものをいう。全ての画素について輝度変化量の総和を算出する形態に限られず、中間の画素を間引くことにより、代表的な特定の画素について輝度変化量の総和を算出する形態であってもよい。輝度変化は、カメラ１１によって撮像された画像、すなわち被写体の変化に依存するので、図３に示した波形に限られず、様々な波形が想定される。同図においては、一例として、期間ｔ１において画像の輝度はほとんど変化せず、期間ｔ２において訪問者等が現れ、動くことにより画像の輝度の変化が大きくなり、期間ｔ３において画像の輝度の変化が元に戻る波形を示している。
【００４３】
ＣＰＵ１４は、カメラ１１によって撮像され、メモリ１３に記憶された画像の輝度の１階時間微分値ｄＹ／ｄｔを算出する。輝度の１階時間微分値ｄＹ／ｄｔは、カメラ１１によって撮像されたフレーム毎に算出され、図３の波形を構成する。算出された輝度の１階時間微分値ｄＹ／ｄｔは、第１閾値と比較される。画像の輝度変化が大きくなり、輝度の１階時間微分値ｄＹ／ｄｔが第１閾値以上になると、ＣＰＵ１４は、画質が劣化しているであろうと判断し、Ｉフレームを挿入し、周波数帯域を拡大して送信部１５から画像情報を送信させる。図中黒塗り円は、Ｉフレームを挿入するタイミングを示す。輝度の１階時間微分値ｄＹ／ｄｔが第１閾値以上である期間が長いときは、Ｉフレームを定期的に挿入し、その他のタイミングではＰフレームを送信する。このとき、Ｉフレームの挿入に応じて周波数帯域の帯域幅を動的に変更する。これにより、画像の輝度変化が大きくなって画質の劣化が予測されたとき、Ｉフレームが挿入されるので、画質の劣化を抑制できる。
【００４４】
画質の劣化の予測には、輝度の１階時間微分値ｄＹ／ｄｔと、Ｉフレームを挿入した後の経過時間ｔを変数とする単調増加関数値と、の積を用いてもよい。単調増加関数とは、経過時間ｔの増加に応じて、常に関数値Ｔ＝ｆ（ｔ）が増加する関数をいう。
【００４５】
図４は、単調増加関数の例を示す。同図において、実線は、Ｉフレームを挿入した後の経過時間ｔを変数とする一次関数を示す。一点鎖線は、経過時間ｔの増加に伴い、一次関数よりも関数値の増加が大きくなる関数（例えば、二次関数、指数関数等の変化が急峻な関数）を示す。破線は、経過時間ｔの増加に伴い、一次関数よりも関数値の増加が小さくなる関数（例えば、ｎ次根関数（ｎは自然数）、対数関数等の変化が穏やかな関数）を示す。これらは、いずれも単調増加関数である。
【００４６】
図５は、図３に示した輝度の１階時間微分値ｄＹ／ｄｔと、Ｉフレームを挿入した後の経過時間ｔを変数とする単調増加関数値と、の積を示す。横軸の時間は、図３に対応する。また、実線、一点鎖線及び破線は、乗じた単調増加関数（図４参照）に対応する。
【００４７】
ＣＰＵ１４は、輝度の１階時間微分値ｄＹ／ｄｔと、Ｉフレームを挿入した後の経過時間ｔを変数とする単調増加関数値と、の積を算出する。算出された積は、第２閾値と比較される。積が大きくなり、第２閾値以上になると、ＣＰＵ１４は、画質が劣化しているであろうと判断し、Ｉフレームを挿入し、周波数帯域を拡大して送信部１５から画像情報を送信させる。Ｉフレームが送信されると、経過時間ｔが０にリセットされるので、積の値は急減する。積が第２閾値未満に低下すると、Ｐフレームが送信される。
【００４８】
輝度の１階時間微分値ｄＹ／ｄｔと、単調増加関数値との積が、第２閾値に達するタイミングは、計算に用いた単調増加関数によって異なる。一点鎖線で示す関数、すなわち経過時間ｔの増加に伴い急峻に変化する関数では、積が第２閾値に達するタイミングが早くなり、頻繁にＩフレームが挿入されることとなる。その結果、画質の劣化が抑制され、品質の高い動画が得られる。
【００４９】
一方、破線で示す関数、すなわち経過時間ｔの増加に伴い穏やかに変化する関数では、積が第２閾値に達するタイミングが遅くなり、Ｉフレームが挿入される頻度が低下する。その結果、画像情報の送信に用いられる周波数帯域の幅が狭くても、安定した通信を行うことができる。すなわち、低消費電力で、安定した通信を行うことができる。どの単調増加関数を用いるかは、画像音声送信装置１０と画像音声受信装置２０との間の通信環境や、無線通信方式の仕様等に応じて決定すればよい。
【００５０】
このように、輝度の１階時間微分値ｄＹ／ｄｔと、Ｉフレームを挿入した後の経過時間ｔを変数とする単調増加関数値と、の積に基づいて画質の劣化を予測する形態においては、Ｉフレームを挿入した後の経過時間ｔの要素を加味して、画質の劣化を判断できる。従って、輝度の１階時間微分値ｄＹ／ｄｔのみを用いて判断する手法と比較すると、より高精度に画質の劣化を予測することができる。
【００５１】
（変形例）
図６は、カメラ１１によって撮像された画像の輝度変化の傾き、すなわち輝度の２階時間微分値ｄ2Ｙ／ｄｔ2の推移を示す。横軸の時間は、図３に対応する。輝度の２階時間微分値ｄ2Ｙ／ｄｔ2は、図３に示した画像の輝度変化を、さらに1階時間微分することにより算出できる。
【００５２】
ＣＰＵ１４は、カメラ１１によって撮像され、メモリ１３に記憶された画像の輝度の２階時間微分値ｄ2Ｙ／ｄｔ2を算出する。算出された輝度の２階時間微分値ｄ2Ｙ／ｄｔ2は、第３閾値と比較される。画像の輝度変化の度合いが大きくなり、輝度の２階時間微分値ｄ2Ｙ／ｄｔ2が第３閾値以上になると、ＣＰＵ１４は、画質が劣化しているであろうと判断し、Ｉフレームを挿入し、周波数帯域を拡大して送信部１５から画像情報を送信させる。このとき、Ｉフレームの挿入に応じて周波数帯域の帯域幅を動的に変更する。これにより、画像の輝度変化の度合いが大きくなって画質の劣化が予測されたとき、Ｉフレームが挿入されるので、画質の劣化を抑制できる。
【００５３】
画質の劣化の予測には、輝度の２階時間微分値ｄ2Ｙ／ｄｔ2と、Ｉフレームを挿入した後の経過時間ｔを変数とする単調増加関数値と、の積を用いてもよい。
【００５４】
図７は、図６に示した輝度の２階時間微分値ｄ2Ｙ／ｄｔ2と、Ｉフレームを挿入した後の経過時間ｔを変数とする単調増加関数値と、の積を示す。横軸の時間は、図３に対応する。また、実線、一点鎖線及び破線は、乗じた単調増加関数（図４参照）に対応する。
【００５５】
ＣＰＵ１４は、輝度の２階時間微分値ｄ2Ｙ／ｄｔ2と、Ｉフレームを挿入した後の経過時間ｔを変数とする単調増加関数値と、の積を算出する。算出された積は、第４閾値と比較される。積が大きくなり、第４閾値以上になると、ＣＰＵ１４は、画質が劣化しているであろうと判断し、Ｉフレームを挿入し、周波数帯域を拡大して送信部１５から画像情報を送信させる。Ｉフレームが送信されると、経過時間ｔが０にリセットされるので、積の値は急減する。積が第４閾値未満に低下すると、Ｐフレームが送信される。
【００５６】
この図７においても、図５と同様に、輝度の２階時間微分値ｄ2Ｙ／ｄｔ2と、単調増加関数値との積が、第４閾値に達するタイミングは、計算に用いた単調増加関数によって異なる。どの単調増加関数を用いるかは、画像音声送信装置１０と画像音声受信装置２０との間の通信環境や、無線通信方式の仕様等に応じて決定すればよい。
【００５７】
このように、輝度の２階時間微分値ｄ2Ｙ／ｄｔ2と、Ｉフレームを挿入した後の経過時間ｔを変数とする単調増加関数値と、の積に基づいて画質の劣化を予測する形態においては、Ｉフレームを挿入した後の経過時間ｔの要素を加味して、画質の劣化を判断できる。従って、輝度の２階時間微分値ｄ2Ｙ／ｄｔ2のみを用いて判断する手法と比較すると、より高精度に画質の劣化を予測することができる。
【００５８】
（変形例）
図８は、図３に示した輝度の１階時間微分値ｄＹ／ｄｔと、図６に示した輝度の２階時間微分値ｄ2Ｙ／ｄｔ2の積を示す。横軸の時間は、図３に対応する。
【００５９】
ＣＰＵ１４は、輝度の１階時間微分値ｄＹ／ｄｔと、輝度の２階時間微分値ｄ2Ｙ／ｄｔ2と、の積を算出する。算出された積は、第５閾値と比較される。積が大きくなり、第５閾値以上になると、ＣＰＵ１４は、画質が劣化しているであろうと判断し、Ｉフレームを挿入し、周波数帯域を拡大して送信部１５から画像情報を送信させる。このとき、Ｉフレームの挿入に応じて周波数帯域の帯域幅を動的に変更する。これにより、画像の輝度変化の度合いが大きくなって画質の劣化が予測されたとき、Ｉフレームが挿入されるので、画質の劣化を抑制できる。
【００６０】
このように、輝度の１階時間微分値ｄＹ／ｄｔと、輝度の２階時間微分値ｄ2Ｙ／ｄｔ2と、の積に基づいて画質の劣化を予測する形態においては、それぞれの微分値を個別に評価する手法よりも、高精度に画質の劣化を予測することができる。
【００６１】
図９は、図３に示した輝度の１階時間微分値ｄＹ／ｄｔと、図６に示した輝度の２階時間微分値ｄ2Ｙ／ｄｔ2と、Ｉフレームを挿入した後の経過時間ｔを変数とする単調増加関数値と、の積を示す。横軸の時間は、図３に対応する。また、実線、一点鎖線及び破線は、乗じた単調増加関数（図４参照）に対応する。
【００６２】
ＣＰＵ１４は、輝度の１階時間微分値ｄＹ／ｄｔと、輝度の２階時間微分値ｄ2Ｙ／ｄｔ2と、Ｉフレームを挿入した後の経過時間ｔを変数とする単調増加関数値と、の積を算出する。算出された積は、第６閾値と比較される。積が大きくなり、第６閾値以上になると、ＣＰＵ１４は、画質が劣化しているであろうと判断し、Ｉフレームを挿入し、周波数帯域を拡大して送信部１５から画像情報を送信させる。Ｉフレームが送信されると、経過時間ｔが０にリセットされ、積の値は急減する。積が第６閾値未満に低下すると、Ｐフレームが送信される。
【００６３】
この図９においても、図５と同様に、輝度の１階時間微分値ｄＹ／ｄｔと、輝度の２階時間微分値ｄ2Ｙ／ｄｔ2と、単調増加関数値との積が、第６閾値に達するタイミングは、計算に用いた単調増加関数によって異なる。どの単調増加関数を用いるかは、画像音声送信装置１０と画像音声受信装置２０との間の通信環境や、無線通信方式の仕様等に応じて決定すればよい。
【００６４】
このように、輝度の１階時間微分値ｄＹ／ｄｔと、２階時間微分値ｄ2Ｙ／ｄｔ2と、Ｉフレームを挿入した後の経過時間ｔの単調増加関数値と、の積に基づいて画質の劣化を予測する形態においては、経過時間ｔの要素を加味して、画質の劣化を判断できる。従って、輝度の１階時間微分値ｄＹ／ｄｔと輝度の２階時間微分値ｄ2Ｙ／ｄｔ2の積のみを用いて判断する手法と比較すると、より高精度に画質の劣化を予測することができる。
【００６５】
（変形例）
Ｈ．２６４やＭＰＥＧ等の符号化方式においては、一般に、Ｉフレームを挿入した後の経過時間ｔが長くなると、画質が劣化する傾向にある。従って、ＣＰＵ１４は、Ｉフレームを挿入した後の経過時間ｔを直接的に評価して、画質の劣化を予測する形態としてもよい。
【００６６】
例えば、図３に示すように、輝度の１階時間微分値ｄＹ／ｄｔが連続して第１閾値を超える場合であっても、Ｉフレームを挿入した後の経過時間ｔが所定の閾値（第７閾値）未満であるときは、画質が劣化していないとみなして判断する形態としてもよい。同様に、図８に示すように、輝度の１階時間微分値ｄＹ／ｄｔと、２階時間微分値ｄ2Ｙ／ｄｔ2と、の積が短い期間で複数回第５閾値を超える場合であっても、経過時間ｔが第７閾値未満であるときは、画質が劣化していないとみなして判断する形態としてもよい。すなわち、Ｉフレームを挿入した後の経過時間ｔが第７閾値未満である期間は、Ｉフレーム挿入禁止期間であると扱われる。図５、図６、図７及び図９に示した手法についても同様である。
【００６７】
一方、図３及び図５乃至図９において、縦軸の値が各閾値を超えない場合であっても、Ｉフレームを挿入した後の経過時間ｔが第７閾値以上になると、画質が劣化したとみなして判断する形態としてもよい。
【００６８】
以上のように、本実施形態の画像音声送信装置１０及び無線画像音声伝送システム１によれば、ＣＰＵ１４によって画質の劣化が予測されたとき、ＣＰＵ１４によって画像情報の送信に用いる周波数帯域が一時的に拡張される。従って、一時的に拡張された周波数帯域を用いて送信する画像情報の情報量を増やすことにより、画像の劣化を抑制することができる。これにより、画質の低下を抑制しつつ、低消費電力の無線通信方式にも対応する程度に、低ビットレート化を図ることができる。
【００６９】
なお、本発明は上記実施形態の構成に限られることなく、少なくとも、画質の劣化を予測し、画質の劣化が予測されたとき、画像情報の送信に用いる周波数帯域を一時的に拡張するように構成されていればよい。
【００７０】
また、本発明は、種々の変更が可能である。例えば、上述した第１閾値乃至第７閾値は、システムのユーザや管理者等によって、任意に設定可能に構成されていてもよい。例えば、第１閾値乃至第７閾値を大きく設定することにより、Ｉフレームを挿入するタイミングを遅延させて、その頻度を低下させることができる。これにより、画像音声送信装置１０の消費電力を低減しながら、画像音声受信装置２０との間で安定した通信を行うことができる。一方、第１閾値乃至第７閾値を小さく設定することにより、Ｉフレームを挿入するタイミングを早めて、その頻度を高めることができる。これにより、画像音声送信装置１０から劣化の少ない画像を送信することができる。
【００７１】
また、ＣＰＵ１４は、送信する画像情報から所定の間隔で抽出したフレームの画像の輝度について、輝度の１階時間微分値及び／又は２階時間微分値を算出するように構成されていてもよい。抽出されなかったフレームは間引かれて、間欠的に輝度の１階時間微分値及び／又は２階時間微分値が算出される。この構成によれば、ＣＰＵ１４の処理負担を軽減でき、更なる低消費電力化を図ることができる。
【符号の説明】
【００７２】
１ 無線画像音声伝送システム（画像伝送システム）
１０ 画像音声送信装置
１１ カメラ（撮像手段）
１２ メモリ（記憶手段）
１４ ＣＰＵ（画質劣化予測手段、帯域拡張手段、Ｉフレーム挿入手段、帯域縮小手段）
１５ 送信部（送信手段）
【特許請求の範囲】
【請求項１】
画像情報を送信する送信手段と、画質の劣化を予測する画質劣化予測手段と、前記画質劣化予測手段によって画質の劣化が予測されたとき、画像情報の送信に用いる周波数帯域を一時的に拡張する帯域拡張手段とを備えたことを特徴とする画像送信装置。
【請求項２】
前記画質劣化予測手段によって画質の劣化が予測されたとき、送信する画像情報にＩフレームを挿入するＩフレーム挿入手段を備えたことを特徴とする請求項１に記載の画像送信装置。
【請求項３】
前記Ｉフレーム挿入手段によって挿入されたＩフレームの画像情報が送信された後、Ｐフレームの画像情報の送信に用いる周波数帯域を縮小する帯域縮小手段を備えたことを特徴とする請求項２に記載の画像送信装置。
【請求項４】
前記帯域拡張手段は、前記画質劣化予測手段によって予測された画質の劣化の度合いに応じて、周波数帯域を拡張する期間を変更することを特徴とする請求項１乃至請求項３のいずれか一項に記載の画像送信装置。
【請求項５】
前記帯域拡張手段は、前記画質劣化予測手段によって予測された画質の劣化の度合いに応じて、拡張する周波数帯域の帯域幅を変更することを特徴とする請求項１乃至請求項４のいずれか一項に記載の画像送信装置。
【請求項６】
前記画質劣化予測手段は、送信する画像の輝度の１階時間微分値が第１閾値以上であるとき、画質が劣化したと判断することを特徴とする請求項１乃至請求項５のいずれか一項に記載の画像送信装置。
【請求項７】
前記画質劣化予測手段は、送信する画像の輝度の１階時間微分値と、Ｉフレームを挿入した後の経過時間を変数とする単調増加関数値と、の積が第２閾値以上であるとき、画質が劣化したと判断することを特徴とする請求項１乃至請求項６のいずれか一項に記載の画像送信装置。
【請求項８】
前記画質劣化予測手段は、送信する画像の輝度の２階時間微分値が第３閾値以上であるとき、画質が劣化したと判断することを特徴とする請求項１又は請求項７のいずれか一項に記載の画像送信装置。
【請求項９】
前記画質劣化予測手段は、送信する画像の輝度の２階時間微分値と、Ｉフレームを挿入した後の経過時間を変数とする単調増加関数値と、の積が第４閾値以上であるとき、画質が劣化したと判断することを特徴とする請求項１乃至請求項８のいずれか一項に記載の画像送信装置。
【請求項１０】
前記画質劣化予測手段は、送信する画像の輝度の１階時間微分値と、該輝度の２階時間微分値と、の積が第５閾値以上であるとき、画質が劣化したと判断することを特徴とする請求項１乃至請求項９のいずれか一項に記載の画像送信装置。
【請求項１１】
前記画質劣化予測手段は、送信する画像の輝度の１階時間微分値と、該輝度の２階時間微分値と、Ｉフレームを挿入した後の経過時間を変数とする単調増加関数値と、の積が第６閾値以上であるとき、画質が劣化したと判断することを特徴とする請求項１乃至請求項１０のいずれか一項に記載の画像送信装置。
【請求項１２】
前記画質劣化予測手段は、Ｉフレームを挿入した後の経過時間が第７閾値以上であるとき、画質が劣化したと判断することを特徴とする請求項１乃至請求項１１のいずれか一項に記載の画像送信装置。
【請求項１３】
前記画質劣化予測手段は、Ｉフレームを挿入した後の経過時間が第７閾値未満であるとき、画質が劣化していないと判断することを特徴とする請求項１乃至請求項１２のいずれか一項に記載の画像送信装置。
【請求項１４】
前記第１閾値乃至前記第７閾値は、任意に設定可能であることを特徴とする請求項６乃至請求項１３のいずれか一項に記載の画像送信装置。
【請求項１５】
前記単調増加関数は、Ｉフレームを挿入した後の経過時間を変数とする一次関数よりも関数値の増加が大きいことを特徴とする請求項７乃至請求項１４のいずれか一項に記載の画像送信装置。
【請求項１６】
前記単調増加関数は、Ｉフレームを挿入した後の経過時間を変数とする一次関数よりも関数値の増加が小さいことを特徴とする請求項７乃至請求項１５のいずれか一項に記載の画像送信装置。
【請求項１７】
前記画質劣化予測手段は、送信する画像情報から所定の間隔で抽出したフレームの画像の輝度について、前記１階時間微分値及び／又は前記２階時間微分値を算出することを特徴とする請求項６乃至請求項１６のいずれか一項に記載の画像送信装置。
【請求項１８】
請求項１乃至請求項１７のいずれか一項に記載の画像送信装置を備えたことを特徴とする画像伝送システム。
【請求項１】
画像情報を送信する送信手段と、画質の劣化を予測する画質劣化予測手段と、前記画質劣化予測手段によって画質の劣化が予測されたとき、画像情報の送信に用いる周波数帯域を一時的に拡張する帯域拡張手段とを備えたことを特徴とする画像送信装置。
【請求項２】
前記画質劣化予測手段によって画質の劣化が予測されたとき、送信する画像情報にＩフレームを挿入するＩフレーム挿入手段を備えたことを特徴とする請求項１に記載の画像送信装置。
【請求項３】
前記Ｉフレーム挿入手段によって挿入されたＩフレームの画像情報が送信された後、Ｐフレームの画像情報の送信に用いる周波数帯域を縮小する帯域縮小手段を備えたことを特徴とする請求項２に記載の画像送信装置。
【請求項４】
前記帯域拡張手段は、前記画質劣化予測手段によって予測された画質の劣化の度合いに応じて、周波数帯域を拡張する期間を変更することを特徴とする請求項１乃至請求項３のいずれか一項に記載の画像送信装置。
【請求項５】
前記帯域拡張手段は、前記画質劣化予測手段によって予測された画質の劣化の度合いに応じて、拡張する周波数帯域の帯域幅を変更することを特徴とする請求項１乃至請求項４のいずれか一項に記載の画像送信装置。
【請求項６】
前記画質劣化予測手段は、送信する画像の輝度の１階時間微分値が第１閾値以上であるとき、画質が劣化したと判断することを特徴とする請求項１乃至請求項５のいずれか一項に記載の画像送信装置。
【請求項７】
前記画質劣化予測手段は、送信する画像の輝度の１階時間微分値と、Ｉフレームを挿入した後の経過時間を変数とする単調増加関数値と、の積が第２閾値以上であるとき、画質が劣化したと判断することを特徴とする請求項１乃至請求項６のいずれか一項に記載の画像送信装置。
【請求項８】
前記画質劣化予測手段は、送信する画像の輝度の２階時間微分値が第３閾値以上であるとき、画質が劣化したと判断することを特徴とする請求項１又は請求項７のいずれか一項に記載の画像送信装置。
【請求項９】
前記画質劣化予測手段は、送信する画像の輝度の２階時間微分値と、Ｉフレームを挿入した後の経過時間を変数とする単調増加関数値と、の積が第４閾値以上であるとき、画質が劣化したと判断することを特徴とする請求項１乃至請求項８のいずれか一項に記載の画像送信装置。
【請求項１０】
前記画質劣化予測手段は、送信する画像の輝度の１階時間微分値と、該輝度の２階時間微分値と、の積が第５閾値以上であるとき、画質が劣化したと判断することを特徴とする請求項１乃至請求項９のいずれか一項に記載の画像送信装置。
【請求項１１】
前記画質劣化予測手段は、送信する画像の輝度の１階時間微分値と、該輝度の２階時間微分値と、Ｉフレームを挿入した後の経過時間を変数とする単調増加関数値と、の積が第６閾値以上であるとき、画質が劣化したと判断することを特徴とする請求項１乃至請求項１０のいずれか一項に記載の画像送信装置。
【請求項１２】
前記画質劣化予測手段は、Ｉフレームを挿入した後の経過時間が第７閾値以上であるとき、画質が劣化したと判断することを特徴とする請求項１乃至請求項１１のいずれか一項に記載の画像送信装置。
【請求項１３】
前記画質劣化予測手段は、Ｉフレームを挿入した後の経過時間が第７閾値未満であるとき、画質が劣化していないと判断することを特徴とする請求項１乃至請求項１２のいずれか一項に記載の画像送信装置。
【請求項１４】
前記第１閾値乃至前記第７閾値は、任意に設定可能であることを特徴とする請求項６乃至請求項１３のいずれか一項に記載の画像送信装置。
【請求項１５】
前記単調増加関数は、Ｉフレームを挿入した後の経過時間を変数とする一次関数よりも関数値の増加が大きいことを特徴とする請求項７乃至請求項１４のいずれか一項に記載の画像送信装置。
【請求項１６】
前記単調増加関数は、Ｉフレームを挿入した後の経過時間を変数とする一次関数よりも関数値の増加が小さいことを特徴とする請求項７乃至請求項１５のいずれか一項に記載の画像送信装置。
【請求項１７】
前記画質劣化予測手段は、送信する画像情報から所定の間隔で抽出したフレームの画像の輝度について、前記１階時間微分値及び／又は前記２階時間微分値を算出することを特徴とする請求項６乃至請求項１６のいずれか一項に記載の画像送信装置。
【請求項１８】
請求項１乃至請求項１７のいずれか一項に記載の画像送信装置を備えたことを特徴とする画像伝送システム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１３−７８０２４（Ｐ２０１３−７８０２４Ａ）
【公開日】平成２５年４月２５日（２０１３．４．２５）
【国際特許分類】
【出願番号】特願２０１１−２１７３７９（Ｐ２０１１−２１７３７９）
【出願日】平成２３年９月３０日（２０１１．９．３０）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．Ｂｌｕｅｔｏｏｔｈ
２．ＺＩＧＢＥＥ
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２５年４月２５日（２０１３．４．２５）
【国際特許分類】
【出願日】平成２３年９月３０日（２０１１．９．３０）
【公序良俗違反の表示】
（特許庁注：以下のものは登録商標）
１．Ｂｌｕｅｔｏｏｔｈ
２．ＺＩＧＢＥＥ
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]