動画像符号化装置
【課題】 高画質な映像を実現する動画像符号化装置を得ることを目的とする
【解決手段】 画像表示部１０１に表示された映像を観察者１００が観察する。視線検出部１０６は、観察者１００が観察している視線２０２を検出して、視線位置データの集合である視線情報２０３を出力する。視線情報解析部１０７は、ビデオ符号化部１０５から出力された符号化データ２０７を基に、視線検出部１０６から出力された視線情報２０３を解析して注目領域の判定を行い、視線解析データ２０４を出力する。符号化パラメータ設定部１０３は、視線解析データ２０４と符号化データ２０７とを入力して符号化パラメータ２０５を設定して出力する。ビデオ符号化部１０５は、符号化パラメータ２０５に基づいて分割信号２０６を符号化して、符号化データ２０７を出力する。
【解決手段】 画像表示部１０１に表示された映像を観察者１００が観察する。視線検出部１０６は、観察者１００が観察している視線２０２を検出して、視線位置データの集合である視線情報２０３を出力する。視線情報解析部１０７は、ビデオ符号化部１０５から出力された符号化データ２０７を基に、視線検出部１０６から出力された視線情報２０３を解析して注目領域の判定を行い、視線解析データ２０４を出力する。符号化パラメータ設定部１０３は、視線解析データ２０４と符号化データ２０７とを入力して符号化パラメータ２０５を設定して出力する。ビデオ符号化部１０５は、符号化パラメータ２０５に基づいて分割信号２０６を符号化して、符号化データ２０７を出力する。
【発明の詳細な説明】
【技術分野】
【０００１】
この発明は、動画像を圧縮符号化する動画像符号化装置に関するものである。
【背景技術】
【０００２】
従来の動画像符号化装置としては、視線入力装置と注目領域検出装置と映像符号化制御装置を設けることにより、実時間で注目領域の品質を重視した受信映像を見ることが可能な映像通信システムが提供されている（例えば、特許文献１参照）。
【０００３】
【特許文献１】特開平７−１３５６５１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
従来の動画像符号化装置は、以上のように構成されていたので、注目領域を検出する際に、ある時刻における視線位置データから注目領域を検出しているため、同一映像が続いた時に、視線が頻繁に動いた場合には、映像が歪んで見えるという課題があった。
また、従来の画像符号化装置は一人の人を対象としており、複数の人の視線情報を利用することができないという課題があった。
【０００５】
この発明は上記のような課題を解消するためになされたもので、ある期間内の視線位置データを分析することによって、時間方向の視線情報を考慮して注目領域を検出することで、高画質な映像を実現する動画像符号化装置を得ることを目的とする。
また、画像の特徴情報（色検出、人物検出、文字検出等）を利用することで、特徴のある画像の画質改善を図ることを目的とする。
更に、複数の人の視線情報を利用して注目領域を検出することで、高画質な映像を実現することを目的とする。
【課題を解決するための手段】
【０００６】
この発明に係る動画像符号化装置は、映像の入力信号を複数の画素からなるブロックに分割した分割信号を出力するブロック化部と、前記入力信号に同期して、前記映像を観察する少なくとも１人以上の観察者の視線を検出した視線情報を出力する視線検出部と、前記視線情報を解析した視線解析情報を出力する視線情報解析部と、前記視線解析情報に基づいて符号化パラメータを設定する符号化パラメータ設定部と、前記符号化パラメータに基づいて前記分割信号を符号化するビデオ符号化部とを備えている。
【発明の効果】
【０００７】
この発明によれば、ある期間内の視線情報を解析することによって、一時的に視線が乱れた場合の視線情報を注目領域から除くことができ、視線が十分集中している領域に対して目標情報量を多く割り当てることができる。これにより、視線が注がれている領域の画質を改善することができる。
【発明を実施するための最良の形態】
【０００８】
実施の形態１．
以下、この発明の実施の形態１について説明する。図１は、この発明の実施の形態１に係る動画像符号化装置の構成を示すブロック図である。図１において、本動画像符号化装置は、画像表示部１０１と、視線検出部１０６と、視線情報解析部１０７と、符号化パラメータ設定部１０３と、ブロック化部１０４と、ビデオ符号化部１０５を備えている。
【０００９】
次に、動作について説明する。画像表示部１０１は入力信号２０１に基づいて映像を表示する。ここで、入力信号２０１は入力画像信号または予測誤差信号であり、復号されているものとする。画像表示部１０１に表示された映像を観察者１００が観察する。視線検出部１０６は、観察者１００が観察している視線２０２を検出して、視線位置データの集合である視線情報２０３を出力する。視線検出部１０６が観察者１００の視線を検出する際に入力信号２０１との同期をとるために、入力信号２０１が視線検出部１０６にも入力されている。
【００１０】
それと並行して、ブロック化部１０４は、入力信号２０１を複数の画素からなるブロックに分割して分割信号２０６を出力する。
【００１１】
視線情報解析部１０７は、ビデオ符号化部１０５から出力された符号化データ２０７を基に、視線検出部１０６から出力された視線情報２０３を解析して注目領域の判定を行い、視線解析データ２０４を出力する。ここで、判定に用いる符号化データ２０７は、時間的に現在より前のフレームの符号化データ（以下、前符号化データ）である。
【００１２】
以下、視線情報解析部１０７の動作について詳細に説明する。図２は、実施の形態１において、時刻Ｔ１〜Ｔ３間の視線位置データを示した図である。図２（ａ）は時刻Ｔ１〜Ｔ２間の視線位置データを、図２（ｂ）は時刻Ｔ２〜Ｔ３間の視線位置データを示している。図２において、視線位置データの分布を解析する際に、視線情報解析部１０７が画面を一例として６４分割している。また、黒丸が観察者１００の視線２０２の位置、即ち視線位置データを示しており、時間が経過するにつれて視線２０２が広がっていく様子を示している。
【００１３】
図３は、図１中の視線情報解析部１０７が注目領域を判定する処理フローを示すフローチャートである。視線情報解析部１０７は、視線検出部１０６からの視線情報２０３を一定期間分蓄積しておき、同期間分の視線情報２０３を解析する。
【００１４】
先ず、ステップＳＴ１において、図２で分割したブロックのうち、対象ブロック内の視線位置データをカウントする。そして、同ブロック内の視線位置データの累算値（以下、ブロック内累算値）を算出する。
【００１５】
次に、ステップＳＴ２において、ブロック内累算値が１より大きいかどうかを判定する。対象ブロックのブロック内累算値が１より大きければＳＴ３へ移行し、１以下であればステップＳＴ５へ移行する。
【００１６】
ステップＳＴ３へ移行した場合、ステップＳＴ３において、「割合＝ブロック内累算値／総視線位置データ数」を算出する。そして、ブロック内累算値が、１ピクチャ当たりの総視線位置データ数に占める割合（以下、ブロック内割合）を求める。
【００１７】
次に、ステップＳＴ４においてブロック内割合を任意の値Ｘと比較する。ブロック内割合がＸよりも大きい場合は、対象ブロックを第１注目領域と判定する。一方、ブロック内割合がＸ以下の場合には、対象ブロックを第２注目領域と判定してステップＳＴ７へ移行する。ステップＳＴ７については後述する。
【００１８】
前述のステップＳＴ２からステップＳＴ５へ移行した場合、ブロック内累算値が１と等しいかどうか判定する。ブロック内累算値が１と等しい場合はステップＳＴ６へ移行する。一方、ブロック内累算値が１と等しくない場合（即ち、ブロック内累算値が０の場合）には、対象ブロックを非注目領域と判定する。
【００１９】
ステップＳＴ６へ移行した場合、対象ブロックに隣接するブロック内の視線位置データの累算値（以下、隣接ブロックの累算値）が０かどうか判定する。隣接ブロックの累算値が０の場合は、対象ブロックを非注目領域と判定する。一方、隣接ブロックの累算値が０でない場合には、対象ブロックを第２注目領域と判定し、ステップＳＴ７へ移行する。
【００２０】
次に、ステップＳＴ７において、隣接ブロックが非注目領域であるかどうかの判定を行う。隣接ブロックが非注目領域であれば、対象ブロックを第２注目領域のままとする。一方、隣接ブロックが非注目領域ではない場合、即ち注目領域である場合には、対象ブロックを第１注目領域に変更する。
【００２１】
図３において、注目領域を第１注目領域と第２注目領域の２種類としているが、より多くの注目領域に分類してもよい。また、視線位置データの累算値を元に注目領域の判定を行っているが、視線位置データに注視時間を乗じた値を累算値として注目領域の判定を行ってもよい。
【００２２】
ブロック化部１０４で分割されたブロックの中で、視線情報解析部１０７により決定された注目領域を含むブロックの目標情報量を多くすることで、注目領域の画質を改善する。図２においては、注目領域が広がっていくので、目標情報量を多くするブロック数が時間の経過と共に増える。そして、注目領域以外の領域（非注目領域）は目標情報量を削減し、１ピクチャ内の総目標情報量は変わらないようにする。
【００２３】
図４は、実施の形態１において、目標情報量の設定変更例を示した図である。図４では、例として１ピクチャを６４分割している。図４（ａ）は目標情報量の初期値であり、１ピクチャ分の目標情報量（６４００ｂｉｔ）を総ブロック数（６４個）で割った、各ブロックの目標情報量は同一値（１００ｂｉｔ）となる。
【００２４】
図４（ｂ）は、図２（ａ）の視線位置データから注目領域を指定した図である。図４（ｂ）中の斜線ブロックが注目領域である。図２（ａ）のＢ１、Ｂ２、Ｂ３、Ｂ４ブロックは、視線位置データが集中しているため、第１注目領域と判定される。Ｂ５、Ｂ６、Ｂ７ブロックは、視線位置データが１つしか存在せず、隣接ブロックにも視線位置データが存在しないため、非注目領域と判定される。そして、注目領域の周辺は、視覚的に認識されやすいため、目標情報量を削減しない第２注目領域とする。図４（ｂ）において、一例として、第１注目領域（斜線ブロック）の目標情報量を２．２０倍、第２注目領域の（横線ブロック）の目標情報量を１．００倍（初期設定のまま）、非注目領域（空白ブロック）の目標情報量を０．９０倍している。１ピクチャの総目標情報量は図４（ａ）、図４（ｂ）共に同じである。
【００２５】
再び図１において、符号化パラメータ設定部１０３は、視線解析データ２０４と符号化データ２０７とを入力して符号化パラメータ２０５を設定して出力する。ここで入力される符号化データ２０７は、視線情報解析部１０７と同様に、前符号化データである。
【００２６】
ビデオ符号化部１０５は、符号化パラメータ２０５に基づいて分割信号２０６を符号化して、符号化データ２０７を出力する。この符号化データ２０７は、次フレーム以降を符号化する際に、視線情報解析部１０７で注目領域を判定するために用いられる。
【００２７】
以上のように、この実施の形態１によれば、一定期間内の視線情報２０３を解析することによって、一時的に視線が乱れた場合の視線情報２０３を注目領域から除くことができ、視線が十分集中している領域に対して目標情報量を多く割り当てることができる。その結果、視線が注がれている領域の画質を改善することができる。
【００２８】
実施の形態２．
以下、この発明の実施の形態２について説明する。図５は、この発明の実施の形態２に係る動画像符号化装置の構成を示すブロック図である。実施の形態２に係る動画像符号化装置は、実施の形態１に係る動画像符号化装置（図１）に画像特徴抽出部１０２を追加した構成である。その他の構成は実施の形態１と同様であるので説明を省略する。
【００２９】
次に、動作について説明する。画像特徴抽出部１０２は、入力信号２０１を入力し、画像に含まれる特徴を抽出して、画像特徴信号２０８を出力する。符号化パラメータ設定部１０３は、画像特徴信号２０８と視線解析データ２０４と前符号化データ２０７から符号化パラメータの設定を行う。ブロック化部１０４は、入力信号２０１を複数の画素からなるブロックに分割して分割信号２０６を出力する。ビデオ符号化部１０５は、符号化パラメータ２０５に基づいて分割信号２０６を符号化して、符号化データ２０７を出力する。その他の動作は実施の形態１と同様であるので説明を省略する。
【００３０】
以下、画像特徴抽出部１０２の動作について詳細に説明する。図６は、実施の形態２において、ある期間内の視線位置データを示した図である。例として、画面を６４分割している。視線位置データは画面中央付近の楕円内に集中しているが、楕円外にも視線位置データは点在している。ここで、画像特徴抽出部１０２が、同画面内に人物と文字が映っていることを検出することにより、楕円外に点在した視線位置データが、人物と文字が映っている領域（以下、特徴領域）に含まれていることがわかる。
【００３１】
ブロック化部１０４で分割されたブロックの中で、視線情報解析部１０７により決定された注目領域を含むブロックの目標情報量を多くすることで、注目領域の画質を改善する。また、画像特徴抽出部１０２で検出された特徴領域に視線が向いていた場合も、該当ブロックの目標情報量を多くすることで、画質の改善を図る。そして、注目領域及び特徴領域以外の領域は目標情報量を削減し、１ピクチャ内の総目標情報量は変わらないようにする。
【００３２】
図７は、実施の形態２において、目標情報量の設定変更例を示した図である。例として、画面を６４分割している。図７（ａ）は目標情報量の初期値であり、１ピクチャ分の目標情報量を総ブロック数で割ったものであり、各ブロックは同一値となる。図７（ｂ）は図６の視線位置データから注目領域及び特徴量域を指定した図である。図７（ｂ）において、注目領域（斜線ブロック）の目標情報量を２．００倍、特徴領域（波線ブロック）の目標情報量を１．６０倍、注目領域及び特徴領域の周辺（横線ブロック）の目標情報量を１．００倍（初期設定のまま）、非注目領域（空白ブロック）の目標情報量を０．８０倍している。１ピクチャの総目標情報量は図７（ａ）、図７（ｂ）共に同じである。
【００３３】
以上のように、この実施の形態２によれば、ある期間内の視線情報２０３を解析し、更に画像の特徴を考慮することによって、視線が十分集中している領域と、視線が集中していなくても画像に特徴がある領域に対して目標情報量を多く割り当てることができる。これにより、視線が注がれている領域と特徴のある領域の画質を改善することができる。
【００３４】
実施形態３．
以下、この発明の実施の形態３について説明する。図８は、この発明の実施の形態３に係る動画像符号化装置の構成を示すブロック図である。実施の形態３に係る動画像符号化装置は、実施の形態２に係る動画像符号化装置（図５）に注目領域演算部１０９と注目領域蓄積部１１０を追加した構成である。なお、図８の上段と下段は注目領域蓄積部１１０を接続点として連続しているが、上段と下段それぞれが別に動作する。その他の構成は実施の形態２と同様であるので説明を省略する。
【００３５】
次に、動作について説明する。入力画像データ１０８は、映像を格納した媒体である。画像表示部１０１は、入力画像データ１０８の入力信号２０１に基づいて映像を表示する。画像表示部１０１に表示された映像を観察者１００が観察する。視線検出部１０６は、観察者１００が観察している視線２０２を検出して、視線情報２０３を出力する。視線情報解析部１０７は、視線情報２０３を解析して視線解析データ２０４を出力する。画像特徴抽出部１０２は、画像に含まれる特徴を抽出して画像特徴信号２０８を出力する。
【００３６】
注目領域演算部１０９は、入力された視線解析データ２０４と画像特徴信号２０８に基づいて、画像の注目領域を算出して注目領域特定信号２０９を出力する。注目領域蓄積部１１０には、注目領域特定信号２０９が入力され、どのような画像に視線が注がれているのか、映像全体の情報が保存される。
【００３７】
符号化パラメータ設定部１０３は注目領域蓄積部１１０から出力される注目領域蓄積データ２１０（映像全体の情報が保存されている）に基づいて、符号化パラメータ２０５を設定して出力する。注目領域蓄積部１１０には映像全体の情報が保存されているため、符号化済みの過去の情報だけでなく、未だ符号化していない未来の情報も利用することができる。例えば、視線が集中する領域が広がることがわかっている場合には、予め目標情報量を多く割り当てる領域を広く設定することにより、画質改善を図ることができる。
【００３８】
また、あるブロックに対する視線の注視時間が長いことがわかっている場合には、視線が注視し始めた時から当該ブロックの情報量を多く割り当てることにより、画質改善を図ることができる。
【００３９】
ブロック化部１０４は、入力信号２０１を複数の画素からなるブロックに分割して分割信号２０６を出力する。ここで、入力信号２１１は入力信号２０１と同じ信号である。ビデオ符号化部１０５は、符号化パラメータ２０５に基づいて分割信号２０６を符号化して、符号化データ２０７を出力する。
【００４０】
以上のように、この実施の形態３によれば、注目領域蓄積部１１０に映像全体の視線解析データ２０４と画像特徴信号２０８を蓄積しているので、符号化の際には、過去の情報だけでなく、未来の情報も利用できる。これにより、視線が今後注がれる領域に、前もって情報量を配分することが可能となり、画質改善を図ることができる。
【００４１】
実施の形態４．
以下、この発明の実施の形態４について説明する。図９は、この発明の実施の形態４に係る動画像符号化装置の構成を示すブロック図である。実施の形態４に係る動画像符号化装置は、実施の形態２に係る動画像符号化装置（図５）に学習データ演算部１１１と学習データ蓄積部１１２を追加した構成である。その他の構成は実施の形態２と同様であるので説明を省略する。
【００４２】
次に、動作について説明する。画像表示部１０１は入力信号２０１に基づいて映像を表示する。画像表示部１０１に表示された映像を観察者１００が観察する。視線検出部１０６は、観察者１００が観察している視線２０２を検出して、視線情報２０３を出力する。視線情報解析部１０７は、前符号化データ２０７を基に視線情報２０３を解析して、視線解析データ２０４を出力する。画像特徴抽出部１０２は、画像に含まれる特徴を抽出して画像特徴信号２０８を出力する。
【００４３】
学習データ演算部１１１は、視線解析データ２０４と画像特徴信号２０８に基づいて、注目領域を算出して学習データ信号２１２を出力する。学習データ蓄積部１１２は、観察者１００が注目することが多い画像の特徴を学習データ（学習データ信号２１２）として蓄積する。そして、学習データ信号２１２を蓄積した蓄積学習データ２１３を出力する。
【００４４】
符号化パラメータ設定部１０３は、視線解析データ２０４と画像特徴信号２０８と蓄積学習データ２１３、及び前符号化データ２０７に基づいて、符号化パラメータ２０５を設定して出力する。学習データ蓄積部１１２には、観察者１００が注目することが多い画像の特徴（蓄積学習データ２１３）が保存されているので、現在の入力画像の特徴と蓄積学習データ２１３とを比べて、観察者１００が注目する領域であれば、符号化パラメータ設定部１０３は目標情報量を多くするように符号化パラメータ１０５の設定を行う。
【００４５】
以下、符号化パラメータ設定部１０５での符号化パラメータ２０５の設定例を示す。例えば、学習データによって、観察者１００が赤色の映像に注目する傾向があることがわかっている場合には、入力信号２０１の中に赤色を検出した際には、該当ブロックの目標情報量を多く設定することによって、画質改善を図る。
【００４６】
例えば、学習データによって、観察者１００が静止した映像（背景）よりも動きのある映像に注目する傾向があることがわかっている場合には、入力信号２０１の中に動きのある領域を検出した際には、該当ブロックの目標情報量を多く設定することによって、画質改善を図る。
【００４７】
例えば、学習データによって、観察者１００の視線が動き易い傾向にあることがわかっている場合には、注目領域に割り当てる目標情報量の増加分を抑制することによって、特定領域に情報量が集中するのを避け、画面全体に情報量が配分されるようにすることで、画質改善を図る。
【００４８】
例えば、学習データによって、観察者１００の視線が画面中央付近に集中する傾向があることがわかっている場合には、画面中央付近の目標情報量を多く設定することによって、画質改善を図る。
【００４９】
再び図９において、ブロック化部１０４は、入力信号２０１を複数の画素からなるブロックに分割して分割信号２０６を出力する。ビデオ符号化部１０５は、符号化パラメータ２０５に基づいて分割信号２０６を符号化して、符号化データ２０７を出力する。
【００５０】
以上のように、この実施の形態４によれば、観察者１００が注目する傾向にある画像の特徴を学習データとして学習データ蓄積部１１２に蓄積しているので、観察者１００に特化した符号化を行うことが可能となり、画質改善を図ることができる。
【００５１】
実施の形態５．
以下、この発明の実施の形態５について説明する。図１０は、この発明の実施の形態５に係る動画像符号化装置の構成を示すブロック図である。実施の形態５に係る動画像符号化装置は、実施の形態３に係る動画像符号化装置（図８）と同構成であるので説明を省略する。但し、複数人の観察者１００が存在することが相違する。
【００５２】
次に、動作について説明する。動作についても、実施の形態３との相違点のみ説明する。図１１は、実施の形態５において、時刻Ｔ１〜Ｔ２間の３人の観察者１００の視線位置データを示したものである。例として、画面を６４分割している。図１１中で、黒丸、ひし形、バツは、３人の観察者１００それぞれの視線位置データを表す。観察者１００が複数人の場合、特定の観察者１００に対して、視線位置データのカウントの際に重み付けを行うことを可能とする。即ち、特定の観察者１００の視線情報２０３を重視する場合には、特定の観察者１００の視線位置データをα（＞１．０）倍させてカウントする。
【００５３】
図１２は、実施の形態５において、目標情報量の設定変更例を示した図である。例として、画面を６４分割している。図１２（ａ）は目標情報量の初期値であり、１ピクチャ分の目標情報量を総ブロック数で割ったものであり、各ブロック同一値となる。図１２（ｂ）は、図１１の視線位置データから注目領域及び特徴領域を指定した図である。図１２（ｂ）において、注目領域１（斜線ブロック）の目標情報量を２．０５倍、注目領域２（波線ブロック）の目標情報量を１．５５倍、注目領域の周辺（横線ブロック）の目標情報量を１．００倍（初期設定のまま）、非注目領域（空白ブロック）の目標情報量を０．８０倍している。１ピクチャの総目標情報量は図１２（ａ）、図１２（ｂ）共に同じである。
【００５４】
以上のように、この実施の形態５によれば、複数の人の映像全体の視線情報を蓄積しているので、観察者１００の個人特性の影響を少なくし、より一般的な視線情報を利用することができる。また、視線情報と画像特徴情報を蓄積しているので、符号化の際には、過去の情報だけでなく、未来の情報も利用できる。これにより、視線が今後注がれる領域に、前もって情報量を配分することが可能となり、画質改善を図ることができる。
【００５５】
実施の形態５は、実施の形態３の観察者１００を複数人にしたものであるが、他の実施の形態においても観察者１００を複数人としてもよい。
【００５６】
実施の形態１、２、５において、図２、４、６、７、１１、１２は画面を６４分割しているが、分割数は６４に限定する必要はない。
【００５７】
本発明は、システムや装置にプログラムを供給することによって達成される場合にも適用できることは言うまでもない。
【図面の簡単な説明】
【００５８】
【図１】この発明の実施の形態１に係る動画像符号化装置の構成を示すブロック図である。
【図２】実施の形態１において、時刻Ｔ１〜Ｔ３間の視線位置データを示した図である。
【図３】図１中の視線情報解析部１０７が注目領域を判定する処理フローを示すフローチャートである。
【図４】実施の形態１において、目標情報量の設定変更例を示した図である。
【図５】この発明の実施の形態２に係る動画像符号化装置の構成を示すブロック図である。
【図６】実施の形態２において、ある期間内の視線位置データを示した図である。
【図７】実施の形態２において、目標情報量の設定変更例を示した図である。
【図８】この発明の実施の形態３に係る動画像符号化装置の構成を示すブロック図である。
【図９】この発明の実施の形態４に係る動画像符号化装置の構成を示すブロック図である。
【図１０】この発明の実施の形態５に係る動画像符号化装置の構成を示すブロック図である。
【図１１】実施の形態５において、時刻Ｔ１〜Ｔ２間の３人の観察者１００の視線位置データを示したものである。
【図１２】実施の形態５において、目標情報量の設定変更例を示した図である。
【符号の説明】
【００５９】
１００ 観察者、１０１ 画像表示部、１０２ 画像特徴抽出部、１０３ 符号化パラメータ設定部、１０４ ブロック化部、１０５ ビデオ符号化部、１０６ 視線検出部、１０７ 視線情報解析部、１０８ 入力画像データ、１０９ 注目領域演算部、１１０ 注目領域蓄積部、１１１ 学習データ演算部、１１２ 学習データ蓄積部、２０１ 入力信号、２０２ 視線、２０３ 視線情報、２０４ 視線解析データ、２０５ 符号化パラメータ、２０６ 分割信号、２０７ 符号化データ、２０８ 画像特徴信号、２０９ 注目領域特定信号、２１０ 注目領域蓄積データ、２１１ 入力信号、２１２ 学習データ信号、２１３ 蓄積学習データ。
【技術分野】
【０００１】
この発明は、動画像を圧縮符号化する動画像符号化装置に関するものである。
【背景技術】
【０００２】
従来の動画像符号化装置としては、視線入力装置と注目領域検出装置と映像符号化制御装置を設けることにより、実時間で注目領域の品質を重視した受信映像を見ることが可能な映像通信システムが提供されている（例えば、特許文献１参照）。
【０００３】
【特許文献１】特開平７−１３５６５１号公報
【発明の開示】
【発明が解決しようとする課題】
【０００４】
従来の動画像符号化装置は、以上のように構成されていたので、注目領域を検出する際に、ある時刻における視線位置データから注目領域を検出しているため、同一映像が続いた時に、視線が頻繁に動いた場合には、映像が歪んで見えるという課題があった。
また、従来の画像符号化装置は一人の人を対象としており、複数の人の視線情報を利用することができないという課題があった。
【０００５】
この発明は上記のような課題を解消するためになされたもので、ある期間内の視線位置データを分析することによって、時間方向の視線情報を考慮して注目領域を検出することで、高画質な映像を実現する動画像符号化装置を得ることを目的とする。
また、画像の特徴情報（色検出、人物検出、文字検出等）を利用することで、特徴のある画像の画質改善を図ることを目的とする。
更に、複数の人の視線情報を利用して注目領域を検出することで、高画質な映像を実現することを目的とする。
【課題を解決するための手段】
【０００６】
この発明に係る動画像符号化装置は、映像の入力信号を複数の画素からなるブロックに分割した分割信号を出力するブロック化部と、前記入力信号に同期して、前記映像を観察する少なくとも１人以上の観察者の視線を検出した視線情報を出力する視線検出部と、前記視線情報を解析した視線解析情報を出力する視線情報解析部と、前記視線解析情報に基づいて符号化パラメータを設定する符号化パラメータ設定部と、前記符号化パラメータに基づいて前記分割信号を符号化するビデオ符号化部とを備えている。
【発明の効果】
【０００７】
この発明によれば、ある期間内の視線情報を解析することによって、一時的に視線が乱れた場合の視線情報を注目領域から除くことができ、視線が十分集中している領域に対して目標情報量を多く割り当てることができる。これにより、視線が注がれている領域の画質を改善することができる。
【発明を実施するための最良の形態】
【０００８】
実施の形態１．
以下、この発明の実施の形態１について説明する。図１は、この発明の実施の形態１に係る動画像符号化装置の構成を示すブロック図である。図１において、本動画像符号化装置は、画像表示部１０１と、視線検出部１０６と、視線情報解析部１０７と、符号化パラメータ設定部１０３と、ブロック化部１０４と、ビデオ符号化部１０５を備えている。
【０００９】
次に、動作について説明する。画像表示部１０１は入力信号２０１に基づいて映像を表示する。ここで、入力信号２０１は入力画像信号または予測誤差信号であり、復号されているものとする。画像表示部１０１に表示された映像を観察者１００が観察する。視線検出部１０６は、観察者１００が観察している視線２０２を検出して、視線位置データの集合である視線情報２０３を出力する。視線検出部１０６が観察者１００の視線を検出する際に入力信号２０１との同期をとるために、入力信号２０１が視線検出部１０６にも入力されている。
【００１０】
それと並行して、ブロック化部１０４は、入力信号２０１を複数の画素からなるブロックに分割して分割信号２０６を出力する。
【００１１】
視線情報解析部１０７は、ビデオ符号化部１０５から出力された符号化データ２０７を基に、視線検出部１０６から出力された視線情報２０３を解析して注目領域の判定を行い、視線解析データ２０４を出力する。ここで、判定に用いる符号化データ２０７は、時間的に現在より前のフレームの符号化データ（以下、前符号化データ）である。
【００１２】
以下、視線情報解析部１０７の動作について詳細に説明する。図２は、実施の形態１において、時刻Ｔ１〜Ｔ３間の視線位置データを示した図である。図２（ａ）は時刻Ｔ１〜Ｔ２間の視線位置データを、図２（ｂ）は時刻Ｔ２〜Ｔ３間の視線位置データを示している。図２において、視線位置データの分布を解析する際に、視線情報解析部１０７が画面を一例として６４分割している。また、黒丸が観察者１００の視線２０２の位置、即ち視線位置データを示しており、時間が経過するにつれて視線２０２が広がっていく様子を示している。
【００１３】
図３は、図１中の視線情報解析部１０７が注目領域を判定する処理フローを示すフローチャートである。視線情報解析部１０７は、視線検出部１０６からの視線情報２０３を一定期間分蓄積しておき、同期間分の視線情報２０３を解析する。
【００１４】
先ず、ステップＳＴ１において、図２で分割したブロックのうち、対象ブロック内の視線位置データをカウントする。そして、同ブロック内の視線位置データの累算値（以下、ブロック内累算値）を算出する。
【００１５】
次に、ステップＳＴ２において、ブロック内累算値が１より大きいかどうかを判定する。対象ブロックのブロック内累算値が１より大きければＳＴ３へ移行し、１以下であればステップＳＴ５へ移行する。
【００１６】
ステップＳＴ３へ移行した場合、ステップＳＴ３において、「割合＝ブロック内累算値／総視線位置データ数」を算出する。そして、ブロック内累算値が、１ピクチャ当たりの総視線位置データ数に占める割合（以下、ブロック内割合）を求める。
【００１７】
次に、ステップＳＴ４においてブロック内割合を任意の値Ｘと比較する。ブロック内割合がＸよりも大きい場合は、対象ブロックを第１注目領域と判定する。一方、ブロック内割合がＸ以下の場合には、対象ブロックを第２注目領域と判定してステップＳＴ７へ移行する。ステップＳＴ７については後述する。
【００１８】
前述のステップＳＴ２からステップＳＴ５へ移行した場合、ブロック内累算値が１と等しいかどうか判定する。ブロック内累算値が１と等しい場合はステップＳＴ６へ移行する。一方、ブロック内累算値が１と等しくない場合（即ち、ブロック内累算値が０の場合）には、対象ブロックを非注目領域と判定する。
【００１９】
ステップＳＴ６へ移行した場合、対象ブロックに隣接するブロック内の視線位置データの累算値（以下、隣接ブロックの累算値）が０かどうか判定する。隣接ブロックの累算値が０の場合は、対象ブロックを非注目領域と判定する。一方、隣接ブロックの累算値が０でない場合には、対象ブロックを第２注目領域と判定し、ステップＳＴ７へ移行する。
【００２０】
次に、ステップＳＴ７において、隣接ブロックが非注目領域であるかどうかの判定を行う。隣接ブロックが非注目領域であれば、対象ブロックを第２注目領域のままとする。一方、隣接ブロックが非注目領域ではない場合、即ち注目領域である場合には、対象ブロックを第１注目領域に変更する。
【００２１】
図３において、注目領域を第１注目領域と第２注目領域の２種類としているが、より多くの注目領域に分類してもよい。また、視線位置データの累算値を元に注目領域の判定を行っているが、視線位置データに注視時間を乗じた値を累算値として注目領域の判定を行ってもよい。
【００２２】
ブロック化部１０４で分割されたブロックの中で、視線情報解析部１０７により決定された注目領域を含むブロックの目標情報量を多くすることで、注目領域の画質を改善する。図２においては、注目領域が広がっていくので、目標情報量を多くするブロック数が時間の経過と共に増える。そして、注目領域以外の領域（非注目領域）は目標情報量を削減し、１ピクチャ内の総目標情報量は変わらないようにする。
【００２３】
図４は、実施の形態１において、目標情報量の設定変更例を示した図である。図４では、例として１ピクチャを６４分割している。図４（ａ）は目標情報量の初期値であり、１ピクチャ分の目標情報量（６４００ｂｉｔ）を総ブロック数（６４個）で割った、各ブロックの目標情報量は同一値（１００ｂｉｔ）となる。
【００２４】
図４（ｂ）は、図２（ａ）の視線位置データから注目領域を指定した図である。図４（ｂ）中の斜線ブロックが注目領域である。図２（ａ）のＢ１、Ｂ２、Ｂ３、Ｂ４ブロックは、視線位置データが集中しているため、第１注目領域と判定される。Ｂ５、Ｂ６、Ｂ７ブロックは、視線位置データが１つしか存在せず、隣接ブロックにも視線位置データが存在しないため、非注目領域と判定される。そして、注目領域の周辺は、視覚的に認識されやすいため、目標情報量を削減しない第２注目領域とする。図４（ｂ）において、一例として、第１注目領域（斜線ブロック）の目標情報量を２．２０倍、第２注目領域の（横線ブロック）の目標情報量を１．００倍（初期設定のまま）、非注目領域（空白ブロック）の目標情報量を０．９０倍している。１ピクチャの総目標情報量は図４（ａ）、図４（ｂ）共に同じである。
【００２５】
再び図１において、符号化パラメータ設定部１０３は、視線解析データ２０４と符号化データ２０７とを入力して符号化パラメータ２０５を設定して出力する。ここで入力される符号化データ２０７は、視線情報解析部１０７と同様に、前符号化データである。
【００２６】
ビデオ符号化部１０５は、符号化パラメータ２０５に基づいて分割信号２０６を符号化して、符号化データ２０７を出力する。この符号化データ２０７は、次フレーム以降を符号化する際に、視線情報解析部１０７で注目領域を判定するために用いられる。
【００２７】
以上のように、この実施の形態１によれば、一定期間内の視線情報２０３を解析することによって、一時的に視線が乱れた場合の視線情報２０３を注目領域から除くことができ、視線が十分集中している領域に対して目標情報量を多く割り当てることができる。その結果、視線が注がれている領域の画質を改善することができる。
【００２８】
実施の形態２．
以下、この発明の実施の形態２について説明する。図５は、この発明の実施の形態２に係る動画像符号化装置の構成を示すブロック図である。実施の形態２に係る動画像符号化装置は、実施の形態１に係る動画像符号化装置（図１）に画像特徴抽出部１０２を追加した構成である。その他の構成は実施の形態１と同様であるので説明を省略する。
【００２９】
次に、動作について説明する。画像特徴抽出部１０２は、入力信号２０１を入力し、画像に含まれる特徴を抽出して、画像特徴信号２０８を出力する。符号化パラメータ設定部１０３は、画像特徴信号２０８と視線解析データ２０４と前符号化データ２０７から符号化パラメータの設定を行う。ブロック化部１０４は、入力信号２０１を複数の画素からなるブロックに分割して分割信号２０６を出力する。ビデオ符号化部１０５は、符号化パラメータ２０５に基づいて分割信号２０６を符号化して、符号化データ２０７を出力する。その他の動作は実施の形態１と同様であるので説明を省略する。
【００３０】
以下、画像特徴抽出部１０２の動作について詳細に説明する。図６は、実施の形態２において、ある期間内の視線位置データを示した図である。例として、画面を６４分割している。視線位置データは画面中央付近の楕円内に集中しているが、楕円外にも視線位置データは点在している。ここで、画像特徴抽出部１０２が、同画面内に人物と文字が映っていることを検出することにより、楕円外に点在した視線位置データが、人物と文字が映っている領域（以下、特徴領域）に含まれていることがわかる。
【００３１】
ブロック化部１０４で分割されたブロックの中で、視線情報解析部１０７により決定された注目領域を含むブロックの目標情報量を多くすることで、注目領域の画質を改善する。また、画像特徴抽出部１０２で検出された特徴領域に視線が向いていた場合も、該当ブロックの目標情報量を多くすることで、画質の改善を図る。そして、注目領域及び特徴領域以外の領域は目標情報量を削減し、１ピクチャ内の総目標情報量は変わらないようにする。
【００３２】
図７は、実施の形態２において、目標情報量の設定変更例を示した図である。例として、画面を６４分割している。図７（ａ）は目標情報量の初期値であり、１ピクチャ分の目標情報量を総ブロック数で割ったものであり、各ブロックは同一値となる。図７（ｂ）は図６の視線位置データから注目領域及び特徴量域を指定した図である。図７（ｂ）において、注目領域（斜線ブロック）の目標情報量を２．００倍、特徴領域（波線ブロック）の目標情報量を１．６０倍、注目領域及び特徴領域の周辺（横線ブロック）の目標情報量を１．００倍（初期設定のまま）、非注目領域（空白ブロック）の目標情報量を０．８０倍している。１ピクチャの総目標情報量は図７（ａ）、図７（ｂ）共に同じである。
【００３３】
以上のように、この実施の形態２によれば、ある期間内の視線情報２０３を解析し、更に画像の特徴を考慮することによって、視線が十分集中している領域と、視線が集中していなくても画像に特徴がある領域に対して目標情報量を多く割り当てることができる。これにより、視線が注がれている領域と特徴のある領域の画質を改善することができる。
【００３４】
実施形態３．
以下、この発明の実施の形態３について説明する。図８は、この発明の実施の形態３に係る動画像符号化装置の構成を示すブロック図である。実施の形態３に係る動画像符号化装置は、実施の形態２に係る動画像符号化装置（図５）に注目領域演算部１０９と注目領域蓄積部１１０を追加した構成である。なお、図８の上段と下段は注目領域蓄積部１１０を接続点として連続しているが、上段と下段それぞれが別に動作する。その他の構成は実施の形態２と同様であるので説明を省略する。
【００３５】
次に、動作について説明する。入力画像データ１０８は、映像を格納した媒体である。画像表示部１０１は、入力画像データ１０８の入力信号２０１に基づいて映像を表示する。画像表示部１０１に表示された映像を観察者１００が観察する。視線検出部１０６は、観察者１００が観察している視線２０２を検出して、視線情報２０３を出力する。視線情報解析部１０７は、視線情報２０３を解析して視線解析データ２０４を出力する。画像特徴抽出部１０２は、画像に含まれる特徴を抽出して画像特徴信号２０８を出力する。
【００３６】
注目領域演算部１０９は、入力された視線解析データ２０４と画像特徴信号２０８に基づいて、画像の注目領域を算出して注目領域特定信号２０９を出力する。注目領域蓄積部１１０には、注目領域特定信号２０９が入力され、どのような画像に視線が注がれているのか、映像全体の情報が保存される。
【００３７】
符号化パラメータ設定部１０３は注目領域蓄積部１１０から出力される注目領域蓄積データ２１０（映像全体の情報が保存されている）に基づいて、符号化パラメータ２０５を設定して出力する。注目領域蓄積部１１０には映像全体の情報が保存されているため、符号化済みの過去の情報だけでなく、未だ符号化していない未来の情報も利用することができる。例えば、視線が集中する領域が広がることがわかっている場合には、予め目標情報量を多く割り当てる領域を広く設定することにより、画質改善を図ることができる。
【００３８】
また、あるブロックに対する視線の注視時間が長いことがわかっている場合には、視線が注視し始めた時から当該ブロックの情報量を多く割り当てることにより、画質改善を図ることができる。
【００３９】
ブロック化部１０４は、入力信号２０１を複数の画素からなるブロックに分割して分割信号２０６を出力する。ここで、入力信号２１１は入力信号２０１と同じ信号である。ビデオ符号化部１０５は、符号化パラメータ２０５に基づいて分割信号２０６を符号化して、符号化データ２０７を出力する。
【００４０】
以上のように、この実施の形態３によれば、注目領域蓄積部１１０に映像全体の視線解析データ２０４と画像特徴信号２０８を蓄積しているので、符号化の際には、過去の情報だけでなく、未来の情報も利用できる。これにより、視線が今後注がれる領域に、前もって情報量を配分することが可能となり、画質改善を図ることができる。
【００４１】
実施の形態４．
以下、この発明の実施の形態４について説明する。図９は、この発明の実施の形態４に係る動画像符号化装置の構成を示すブロック図である。実施の形態４に係る動画像符号化装置は、実施の形態２に係る動画像符号化装置（図５）に学習データ演算部１１１と学習データ蓄積部１１２を追加した構成である。その他の構成は実施の形態２と同様であるので説明を省略する。
【００４２】
次に、動作について説明する。画像表示部１０１は入力信号２０１に基づいて映像を表示する。画像表示部１０１に表示された映像を観察者１００が観察する。視線検出部１０６は、観察者１００が観察している視線２０２を検出して、視線情報２０３を出力する。視線情報解析部１０７は、前符号化データ２０７を基に視線情報２０３を解析して、視線解析データ２０４を出力する。画像特徴抽出部１０２は、画像に含まれる特徴を抽出して画像特徴信号２０８を出力する。
【００４３】
学習データ演算部１１１は、視線解析データ２０４と画像特徴信号２０８に基づいて、注目領域を算出して学習データ信号２１２を出力する。学習データ蓄積部１１２は、観察者１００が注目することが多い画像の特徴を学習データ（学習データ信号２１２）として蓄積する。そして、学習データ信号２１２を蓄積した蓄積学習データ２１３を出力する。
【００４４】
符号化パラメータ設定部１０３は、視線解析データ２０４と画像特徴信号２０８と蓄積学習データ２１３、及び前符号化データ２０７に基づいて、符号化パラメータ２０５を設定して出力する。学習データ蓄積部１１２には、観察者１００が注目することが多い画像の特徴（蓄積学習データ２１３）が保存されているので、現在の入力画像の特徴と蓄積学習データ２１３とを比べて、観察者１００が注目する領域であれば、符号化パラメータ設定部１０３は目標情報量を多くするように符号化パラメータ１０５の設定を行う。
【００４５】
以下、符号化パラメータ設定部１０５での符号化パラメータ２０５の設定例を示す。例えば、学習データによって、観察者１００が赤色の映像に注目する傾向があることがわかっている場合には、入力信号２０１の中に赤色を検出した際には、該当ブロックの目標情報量を多く設定することによって、画質改善を図る。
【００４６】
例えば、学習データによって、観察者１００が静止した映像（背景）よりも動きのある映像に注目する傾向があることがわかっている場合には、入力信号２０１の中に動きのある領域を検出した際には、該当ブロックの目標情報量を多く設定することによって、画質改善を図る。
【００４７】
例えば、学習データによって、観察者１００の視線が動き易い傾向にあることがわかっている場合には、注目領域に割り当てる目標情報量の増加分を抑制することによって、特定領域に情報量が集中するのを避け、画面全体に情報量が配分されるようにすることで、画質改善を図る。
【００４８】
例えば、学習データによって、観察者１００の視線が画面中央付近に集中する傾向があることがわかっている場合には、画面中央付近の目標情報量を多く設定することによって、画質改善を図る。
【００４９】
再び図９において、ブロック化部１０４は、入力信号２０１を複数の画素からなるブロックに分割して分割信号２０６を出力する。ビデオ符号化部１０５は、符号化パラメータ２０５に基づいて分割信号２０６を符号化して、符号化データ２０７を出力する。
【００５０】
以上のように、この実施の形態４によれば、観察者１００が注目する傾向にある画像の特徴を学習データとして学習データ蓄積部１１２に蓄積しているので、観察者１００に特化した符号化を行うことが可能となり、画質改善を図ることができる。
【００５１】
実施の形態５．
以下、この発明の実施の形態５について説明する。図１０は、この発明の実施の形態５に係る動画像符号化装置の構成を示すブロック図である。実施の形態５に係る動画像符号化装置は、実施の形態３に係る動画像符号化装置（図８）と同構成であるので説明を省略する。但し、複数人の観察者１００が存在することが相違する。
【００５２】
次に、動作について説明する。動作についても、実施の形態３との相違点のみ説明する。図１１は、実施の形態５において、時刻Ｔ１〜Ｔ２間の３人の観察者１００の視線位置データを示したものである。例として、画面を６４分割している。図１１中で、黒丸、ひし形、バツは、３人の観察者１００それぞれの視線位置データを表す。観察者１００が複数人の場合、特定の観察者１００に対して、視線位置データのカウントの際に重み付けを行うことを可能とする。即ち、特定の観察者１００の視線情報２０３を重視する場合には、特定の観察者１００の視線位置データをα（＞１．０）倍させてカウントする。
【００５３】
図１２は、実施の形態５において、目標情報量の設定変更例を示した図である。例として、画面を６４分割している。図１２（ａ）は目標情報量の初期値であり、１ピクチャ分の目標情報量を総ブロック数で割ったものであり、各ブロック同一値となる。図１２（ｂ）は、図１１の視線位置データから注目領域及び特徴領域を指定した図である。図１２（ｂ）において、注目領域１（斜線ブロック）の目標情報量を２．０５倍、注目領域２（波線ブロック）の目標情報量を１．５５倍、注目領域の周辺（横線ブロック）の目標情報量を１．００倍（初期設定のまま）、非注目領域（空白ブロック）の目標情報量を０．８０倍している。１ピクチャの総目標情報量は図１２（ａ）、図１２（ｂ）共に同じである。
【００５４】
以上のように、この実施の形態５によれば、複数の人の映像全体の視線情報を蓄積しているので、観察者１００の個人特性の影響を少なくし、より一般的な視線情報を利用することができる。また、視線情報と画像特徴情報を蓄積しているので、符号化の際には、過去の情報だけでなく、未来の情報も利用できる。これにより、視線が今後注がれる領域に、前もって情報量を配分することが可能となり、画質改善を図ることができる。
【００５５】
実施の形態５は、実施の形態３の観察者１００を複数人にしたものであるが、他の実施の形態においても観察者１００を複数人としてもよい。
【００５６】
実施の形態１、２、５において、図２、４、６、７、１１、１２は画面を６４分割しているが、分割数は６４に限定する必要はない。
【００５７】
本発明は、システムや装置にプログラムを供給することによって達成される場合にも適用できることは言うまでもない。
【図面の簡単な説明】
【００５８】
【図１】この発明の実施の形態１に係る動画像符号化装置の構成を示すブロック図である。
【図２】実施の形態１において、時刻Ｔ１〜Ｔ３間の視線位置データを示した図である。
【図３】図１中の視線情報解析部１０７が注目領域を判定する処理フローを示すフローチャートである。
【図４】実施の形態１において、目標情報量の設定変更例を示した図である。
【図５】この発明の実施の形態２に係る動画像符号化装置の構成を示すブロック図である。
【図６】実施の形態２において、ある期間内の視線位置データを示した図である。
【図７】実施の形態２において、目標情報量の設定変更例を示した図である。
【図８】この発明の実施の形態３に係る動画像符号化装置の構成を示すブロック図である。
【図９】この発明の実施の形態４に係る動画像符号化装置の構成を示すブロック図である。
【図１０】この発明の実施の形態５に係る動画像符号化装置の構成を示すブロック図である。
【図１１】実施の形態５において、時刻Ｔ１〜Ｔ２間の３人の観察者１００の視線位置データを示したものである。
【図１２】実施の形態５において、目標情報量の設定変更例を示した図である。
【符号の説明】
【００５９】
１００ 観察者、１０１ 画像表示部、１０２ 画像特徴抽出部、１０３ 符号化パラメータ設定部、１０４ ブロック化部、１０５ ビデオ符号化部、１０６ 視線検出部、１０７ 視線情報解析部、１０８ 入力画像データ、１０９ 注目領域演算部、１１０ 注目領域蓄積部、１１１ 学習データ演算部、１１２ 学習データ蓄積部、２０１ 入力信号、２０２ 視線、２０３ 視線情報、２０４ 視線解析データ、２０５ 符号化パラメータ、２０６ 分割信号、２０７ 符号化データ、２０８ 画像特徴信号、２０９ 注目領域特定信号、２１０ 注目領域蓄積データ、２１１ 入力信号、２１２ 学習データ信号、２１３ 蓄積学習データ。
【特許請求の範囲】
【請求項１】
映像の入力信号を複数の画素からなるブロックに分割した分割信号を出力するブロック化部と、
前記入力信号に同期して、前記映像を観察する少なくとも１人以上の観察者の視線を検出した視線情報を出力する視線検出部と、
前記視線情報を解析した視線解析情報を出力する視線情報解析部と、
前記視線解析情報に基づいて符号化パラメータを設定する符号化パラメータ設定部と、
前記符号化パラメータに基づいて前記分割信号を符号化するビデオ符号化部とを備えた動画像符号化装置。
【請求項２】
前記視線情報解析部は、時間軸方向または空間軸方向における前記視線情報の分布を解析することを特徴とする請求項１記載の動画像符号化装置。
【請求項３】
前記視線情報解析部は、複数の前記観察者の前記視線情報を解析する際に前記観察者に応じて重み付けをすることを特徴とする請求項１または請求項２記載の動画像符号化装置。
【請求項４】
前記入力信号から画像の特徴を抽出した画像特徴信号を出力する画像特徴抽出部を備え、
前記符号化パラメータ設定部が、前記視線解析情報と前記画像特徴信号とに基づいて前記符号化パラメータを設定することを特徴とする請求項１から請求項３のうちのいずれか１項記載の動画像符号化装置。
【請求項５】
前記視線解析データと前記画像特徴信号とから前記画像の注目領域を算出した注目領域特定信号を出力する注目領域演算部と、
前記映像全体に関する前記注目領域特定信号を蓄積した注目領域蓄積データを出力する注目領域蓄積部とを備え、
前記符号化パラメータ設定部が、前記注目領域蓄積データに基づいて前記符号化パラメータを設定することを特徴とする請求項４記載の動画像符号化装置。
【請求項６】
前記視線解析データと前記画像特徴信号に基づいて前記視線情報を学習した学習データ信号を出力する学習データ演算部と、
前記学習データ信号を蓄積した蓄積学習データを出力する学習データ蓄積部とを備え、
前記符号化パラメータ設定部が、前記視線解析情報と前記画像特徴信号と前記蓄積学習データとに基づいて前記符号化パラメータを設定することを特徴とする請求項４記載の動画像符号化装置。
【請求項７】
前記学習データ演算部は、前記観察者の視線の傾向を学習して前記学習データ信号を出力することを特徴とする請求項６記載の動画像符号化装置。
【請求項１】
映像の入力信号を複数の画素からなるブロックに分割した分割信号を出力するブロック化部と、
前記入力信号に同期して、前記映像を観察する少なくとも１人以上の観察者の視線を検出した視線情報を出力する視線検出部と、
前記視線情報を解析した視線解析情報を出力する視線情報解析部と、
前記視線解析情報に基づいて符号化パラメータを設定する符号化パラメータ設定部と、
前記符号化パラメータに基づいて前記分割信号を符号化するビデオ符号化部とを備えた動画像符号化装置。
【請求項２】
前記視線情報解析部は、時間軸方向または空間軸方向における前記視線情報の分布を解析することを特徴とする請求項１記載の動画像符号化装置。
【請求項３】
前記視線情報解析部は、複数の前記観察者の前記視線情報を解析する際に前記観察者に応じて重み付けをすることを特徴とする請求項１または請求項２記載の動画像符号化装置。
【請求項４】
前記入力信号から画像の特徴を抽出した画像特徴信号を出力する画像特徴抽出部を備え、
前記符号化パラメータ設定部が、前記視線解析情報と前記画像特徴信号とに基づいて前記符号化パラメータを設定することを特徴とする請求項１から請求項３のうちのいずれか１項記載の動画像符号化装置。
【請求項５】
前記視線解析データと前記画像特徴信号とから前記画像の注目領域を算出した注目領域特定信号を出力する注目領域演算部と、
前記映像全体に関する前記注目領域特定信号を蓄積した注目領域蓄積データを出力する注目領域蓄積部とを備え、
前記符号化パラメータ設定部が、前記注目領域蓄積データに基づいて前記符号化パラメータを設定することを特徴とする請求項４記載の動画像符号化装置。
【請求項６】
前記視線解析データと前記画像特徴信号に基づいて前記視線情報を学習した学習データ信号を出力する学習データ演算部と、
前記学習データ信号を蓄積した蓄積学習データを出力する学習データ蓄積部とを備え、
前記符号化パラメータ設定部が、前記視線解析情報と前記画像特徴信号と前記蓄積学習データとに基づいて前記符号化パラメータを設定することを特徴とする請求項４記載の動画像符号化装置。
【請求項７】
前記学習データ演算部は、前記観察者の視線の傾向を学習して前記学習データ信号を出力することを特徴とする請求項６記載の動画像符号化装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図１２】
【公開番号】特開２００６−３３２８８２（Ｐ２００６−３３２８８２Ａ）
【公開日】平成１８年１２月７日（２００６．１２．７）
【国際特許分類】
【出願番号】特願２００５−１５１２１９（Ｐ２００５−１５１２１９）
【出願日】平成１７年５月２４日（２００５．５．２４）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
【公開日】平成１８年１２月７日（２００６．１２．７）
【国際特許分類】
【出願日】平成１７年５月２４日（２００５．５．２４）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
[ Back to top ]