関心領域の動的検知に基づいたシーン状態切換システム及び方法
【課題】関心要素に基づくシーン状態の切換システム及び切換方法を提供する。
【解決手段】関心要素に基づくシーン状態の切換システムは、撮像装置で撮像した現撮像画像を現フレーム画像として入力する入力装置と、前記入力装置から入力される前記現フレーム画像から関心要素の最大可能存在領域を決定する検知装置と、予め定義されたそれぞれのシーン状態及び切換条件に基づいて、前記最大可能存在領域のシーン状態間の切換を行う状態切換装置と、前記状態切換装置により切り換えられた現シーン状態に応じて、前記最大可能存在領域から、前記現シーン状態と一致する関心領域を表示する表示装置と、を含む。
【解決手段】関心要素に基づくシーン状態の切換システムは、撮像装置で撮像した現撮像画像を現フレーム画像として入力する入力装置と、前記入力装置から入力される前記現フレーム画像から関心要素の最大可能存在領域を決定する検知装置と、予め定義されたそれぞれのシーン状態及び切換条件に基づいて、前記最大可能存在領域のシーン状態間の切換を行う状態切換装置と、前記状態切換装置により切り換えられた現シーン状態に応じて、前記最大可能存在領域から、前記現シーン状態と一致する関心領域を表示する表示装置と、を含む。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、関心領域の動的検知に基づいたシーン状態切換システム、及び関心領域の動的検知に基づいたシーン状態切換方法に関する。
【背景技術】
【０００２】
映像圧縮と映像強調分野における技術の発展に伴い、遠隔ビデオシステムが益々幅広く利用されつつある。遠隔ビデオシステムの例としては、例えば、遠隔テレビ会議システムや、遠隔医療システム等があり、特徴として、少なくとも２つの端末に映像収集装置と映像表示装置をそれぞれ設置し、有線または無線の通信手段により、各端末を接続することで、各端末のユーザの相手側のリアルタイムやオフラインの映像の取得が可能になる。遠隔ビデオシステムの応用においては、関心領域の動的検知により、可能な関心領域のシーンを相手に強調して表示することで、遠隔ビデオシステムのユーザの利便性が著しく向上している。
【０００３】
関心領域の動的検知に基づいた表示シーンの変換については、以下の技術が提案されている。
【０００４】
特許文献１（ＵＳ２０１００１０３２４５Ａ１）には、関心領域を動的検知し、関心領域の最適化表示を行い、非関心領域の表示を無視するという技術が提案されている。該技術においては、それぞれの関心領域の内容によって、表示領域のサイズの比率の自動調整が可能である。しかしながら、特許文献１において、関心領域は、人物の顔に限られており、画像のサイズは、人物の顔のサイズに正比例するのみで、テレビ会議のシーン状態の分類は行われていない。一方、関心領域のサイズが小さい場合、単に同一比率で拡大してしまうと、画質がある程度限定されてしまう。
【０００５】
特許文献２（ＵＳ７５８００５４Ｂ２）には、全方位撮像ヘッドにより会議を撮影するとともに、ユーザへのリアルタイムとオフラインの映像表示が可能な技術が提案されている。該技術には、撮像ヘッドの制御を行う自動撮像ヘッド管理システム、及び現場参加者の位置決めを行う分析モジュールが含まれている。しかしながら、該特許文献２においては、全方位撮像ヘッドや複数の通常の撮像ヘッドからなるアレイによる各現場参加者の映像提供が必要となり、ハードウェア装置の面で重い負担になってしまう。さらに、ユーザは、単一人物の映像間の切換しかできないため、他の関心領域の重要な情報が紛失される恐れがある。
【０００６】
特許文献３（ＵＳ２００９００１５６５８Ａ１）には、映像検知技術を用いて、撮像ヘッドから撮像された映像フレーム内の現場参加者の検知を行うとともに、検知した現場参加者の位置とサイズ情報から、撮像ヘッドの方向及び拡大縮小の自動調整を行うことにより、すべての現場参加者を含む最適の画像の提供が可能になる。しかしながら、特許文献３においては、すべての現場参加者を含む映像しか提供することができず、単一人物の映像提供の面には制限がある。また、特許文献３においては、現場参加者の退席は効率よく検知するものの、新メンバーの参加の検知については、検知領域外で音声情報の位置決めを行うため、一定の制限を受けてしまう。
【０００７】
特許文献４（ＵＳ６６１１２８１Ｂ２）には、テレビ会議における複数現場参加者の追跡方法が提案されている。該方法においては、テレビ会議のモニターを行い、映像の位置決め情報を生成して出力し、音声の位置決め情報を生成して出力し、映像と音声の位置決め情報から、撮像ヘッドのパラメータ調整を行っている。該特許文献４においては、話者と全現場参加者のシーン映像の切換しかできず、話者の映像及び音声への検知及び位置決めのみで、映像を該話者へ切り換えている。なお、該特許文献４では、関心領域の動的検知及び切換は行わず、シーンの拡張性は提案されていないため、人の会議への参加または退席時の映像の自動調整については何ら提案もない。
【０００８】
前述の関連技術としての特許文献に提案されている技術においては、常にテレビ会議に最適の映像を提供することができない。理由としては、ユーザの関心領域は、全体の会議進行において常に変化しているからである。例えば、特許文献４では、２種類の選択可能なシーン映像しか提供することができず、関心領域の動的検知及びそれに応じたシーン状態切換はできない。また、特許文献２では、異なるシーン映像の提供は可能であるが、ハードウェアの急激な増加は代価となり、関心領域の動的検知及びそれに応じたシーン状態の切換はできない。また、特許文献１では、関心領域による映像表示が提案されているが、定義される関心領域が限られているとともに、それの動的検知およびシーン切換ができず、シーン映像の視覚品質が望ましくないことがある。
【発明の概要】
【発明が解決しようとする課題】
【０００９】
本発明は、従来技術における前記問題に鑑みてなされたものである。本発明の目的は、関心領域の動的検知に基づいたシーン状態の切換システム、及び関心領域の動的検知によるシーン状態の切換方法を提供することにある。
【課題を解決するための手段】
【００１０】
本発明の一実施例によれば、関心要素に基づくシーン状態の切換システムが提供される。この切換システムは、撮像装置で撮像した現撮像画像を現フレーム画像として入力する入力装置と、前記入力装置から入力される前記現フレーム画像から関心要素の最大可能存在領域を決定する検知装置と、予め定義されたそれぞれのシーン状態及び切換条件に基づいて、前記最大可能存在領域のシーン状態間の切換を行う状態切換装置と、前記状態切換装置により切り換えられた現シーン状態に応じて、前記最大可能存在領域から、前記現シーン状態と一致する関心領域を表示する表示装置と、を含む。
【００１１】
また、本発明の他の実施例によれば、関心要素に基づくシーン状態の切換方法が提供される。この切換方法は、撮像装置で撮像した現撮像画像を現フレーム画像として入力するステップと、前記入力ステップで入力される前記現フレーム画像から関心要素の最大可能存在領域を決定する検知ステップと、予め定義されたそれぞれのシーン状態及び切換条件に基づいて、最大可能存在領域のシーン状態間の切換を行う状態切換ステップと、前記状態切換ステップで切り換えられた現シーン状態に応じて、前記最大可能存在領域から、前記現シーン状態と一致する関心領域を表示する表示ステップと、を含む。
【００１２】
本発明の前述の実施例によると、有限状態機械を用いて関心領域を動的に検知し、ユーザに関心領域を表示し、優れた映像を提供するとともに、ユーザの全体のシーンの雰囲気への配慮を可能にしている。場所の配置、例えば、大きさ、形状、参加人数等のパラメータ、及び、全体のイベント（例えば、会議、医療等）進行過程においてシーンが異なることを考慮することにより、本発明の実施例による技術は、関心領域の動的検知を効率よく用いることで、最適映像の提供を円滑に行うことができる。
【００１３】
関心要素のみならず、潜在要素も考慮し、関心要素及び潜在要素に基づいた検知により、撮像装置の映像取得範囲を決定し、関心要素の最大可能存在領域を取得することができる。潜在要素の位置とは、新規加入の関心要素が最も出現する可能性のある位置である。また、追跡メカニズムを更に組み合わせることで、関心要素の退席と新規加入を容易に発見することができる。
【００１４】
また、超解像度（Super-resolution）と所定の視覚品質に基づいた表示強調技術を用いることで、原映像の質が劣化している場合でも、効率よく映像の視覚品質を向上することができる。
【発明の効果】
【００１５】
本発明の実施例によると、関心領域の動的検知に基づいたシーン状態の切換システム、及び関心領域の動的検知によるシーン状態の切換方法を提供することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の一実施例による、関心領域の動的検知に基づいたシーン映像切換システムの全体ブロック図である。
【図２】遠隔会議システムを例として、会議場所を示した図である。
【図３】図２に示した会議場所における撮像装置から得られた映像を示した図である。
【図４】図３に示した現フレーム画像から決定された最大可能存在領域を示した図である。
【図５】撮像装置の調整装置による調整後の撮像装置の結像状況を示す図である。
【図６Ａ】本発明の一実施例によるシーン状態切換を示した図である。
【図６Ｂ】図６Ａに示したシーン状態の切換に対応付けられているシーン状態切換表である。
【図７Ａ】本発明の他の実施例におけるシーン状態切換を示した図である。
【図７Ｂ】図７Ａに示したシーン状態の切換に対応付けられているシーン状態切換表である。
【図８】図５に示した最大可能存在領域に対して各シーン状態で抽出された各関心領域及びその拡大表示を示した図である。
【発明を実施するための形態】
【００１７】
以下、添付した図面を参照しながら、本発明の好適な実施形態を詳細に説明する。
【００１８】
図１は、本発明の一実施例による、関心領域の動的検知に基づいたシーン映像切換システム１００の全体ブロック図である。図１に示されたように、関心領域の動的検知に基づいたシーン映像切換システム１００は、撮像装置１０からの現撮像画像を現フレーム画像として入力する入力装置１１０と、前記入力装置１１０から入力される前記現フレーム画像から、全部の関心要素と潜在要素を検知し、前記関心要素の最大可能存在領域を決定する検知装置１２０と、予め定義される有限状態機械１６０により、予め定義されたそれぞれのシーン状態及び切換条件に基づいて、最大可能存在領域のシーン状態間の切換を行う状態切換装置１３０と、前記状態切換装置１３０により切り換えられた現シーン状態に応じて、前記最大可能存在領域から、該現シーン状態と一致する関心領域をシーン映像として抽出して表示する表示装置１４０と、を備えている。
【００１９】
シーン映像切換システム１００は、遠隔会議システムに用いられる場合は、会議室を場所とすることができ、遠隔医療システムに用いられる場合は、診療室、ひいては手術室などを場所とすることができる。以下、遠隔会議システムに用いられることを例として、本発明の実施例におけるシーン映像切換システム１００を説明するが、本発明の実施例によるシーン映像切換システム１００の実現は、遠隔会議システムに依存するものではなく、他の遠隔ビデオシステムに適用可能なことは、当業者が認識することができる。
【００２０】
撮像装置１０は、現場の映像を撮像するもので、例えば、撮像ヘッド、ビデオカメラ、カメラ等の映像画像形成装置であり、そのレンズは、通常のもの、全方位のもの、或いは広角のものでよい。
【００２１】
ここで、前記関心要素は、現場参加者であり、前記潜在要素は、所定の現場参加者の可能な出現場所であり、例えば、現場における空椅子、プレゼンテーションボード、スライドプロジェクター等である。
【００２２】
図２は、遠隔会議システムを例として、会議場所を示した図であり、撮像装置１０と、現場参加者２１、２２、２３、２４と、空椅子３１、３２、３３、３４が示されている。本発明の一実施例におけるシーン映像切換システム１００に用いられる遠隔会議システムは、現場参加者４人に限られるものではなく、現場参加者の出現可能な潜在場所も、空椅子に限るものではなく、数も４つに限られるものではないことは言うまでもない。
【００２３】
図３は、図２に示した会議場所における撮像装置から得られた映像を示した図である。
【００２４】
前記検知装置１２０は、撮像装置１０からの現撮像画像である現フレーム画像に対し、混合ガウスモデル（Gaussian Mixture Model）の動的背景モデル構築に基づいた前景対象検知により、前記現フレーム画像から前景画像を検知し、人物の顔と頭部の検知により、該前景画像からの現場参加者の検知を行い、所定の特徴の検知や、事前のデータ集合による訓練により、前記現フレーム画像から前記所定の現場参加者の可能な出現場所を検知することができる。混合ガウスモデルの動的背景モデル構築に基づいた前景対象検知と、人物の顔と頭部の検知と、空椅子、プレゼンテーションボード、スライドプロジェクター等の所定の特徴の検知は、すべて成熟した従来の技術手段から実現することができる。現場の参加者の検知のみならず、空椅子といった潜在場所の検知も行う理由は、会議中のメンバーの新規参加や現場参加者の退席を考慮し、現場の参加者の最大可能存在領域に漏れが生じることを極力避けるためである。
【００２５】
図４は、図３に示された現フレーム画像から決定された最大可能存在領域を示した図である。ここで、(α0,φ0)は、撮像装置１０から撮像された現フレーム画像の中心点であり、破線フレーム５０は、決定した現場参加者の最大可能存在領域であり、(αa,φa)は、最大可能存在領域５０の中心点である。
【００２６】
前記最大可能存在領域５０は、すべての関心要素と潜在要素を含む矩形であり、該矩形の左辺が、検知した最左側の関心要素と潜在要素の左縁であり、該矩形の上辺が、検知した最上側の関心要素と潜在要素の上縁であり、該矩形の右辺が、検知した最右側の関心要素と潜在要素の右縁であり、該矩形の下辺が、検知した最下側の関心要素と潜在要素の下縁である。矩形の各辺及びその中心点の決定は、コンピュータグラフィックの通常手段により実現することができる。
【００２７】
本発明の一実施例のシーン映像切換システム１００は、最大可能存在領域に対し、関心領域の抽出及びシーン状態切換といった操作・処理を行うために、システムの改善として、図１に示されたシーン映像切換システム１００は、撮像装置１０の調整装置１５０を更に有することが好ましい。該撮像装置１０の調整装置１５０は、前記撮像装置１０の結像範囲の中心が前記最大可能存在領域の中心に移動するように、前記現フレーム画像と前記最大可能存在領域との位置関係から、前記撮像装置１０の水平方向及び垂直方向における必要な回転角度を計算するようになっている。なお、前記撮像装置の調整装置１５０は、前記撮像装置１０の結像範囲内において、前記最大可能存在領域の幅と高さを調整するようになっている。
【００２８】
例えば、撮像装置１０の調整装置１５０は、撮像装置１０の結像範囲と、決定した最大可能存在領域と、撮像装置１０の固有パラメータとにより、すべての現場参加者及び可能な出現位置を含む注目すべき領域で撮像装置１０の結像範囲が充満されるように、撮像装置１０のレンズに必要な水平方向上の回転（Ｐａｎ）角度、垂直方向上の回転（Ｔｉｌｔ）角度、及び拡大縮小の比率（Ｚｏｏｍ）を計算する。これらの回転角度及び拡大縮小比率は、ＰＴＺパラメータと称されており、撮像装置調整装置１５０は、算出されたＰＴＺパラメータにより、撮像装置１０の調整を行っている。
【００２９】
コンピュータグラフィック及びコンピュータ画像処理分野における従来技術により、必要なＰＴＺパラメータを算出し、ＰＴＺパラメータにて調整された後の撮像装置１０からの撮像画像は、例えば、図５に示されたようになる。
【００３０】
図５は、撮像装置の調整装置１５０による調整後の撮像装置１０の、図１に示された現場撮影への撮影から得られた画像である。ここで、最大可能存在領域により全結像範囲が極力充填され、矩形フレームの中心点は、現フレーム画像の中心点であり、最大可能存在領域の中心点でもある。
【００３１】
次に、本発明の一実施例によるシーン映像切換システム１００において、最大可能存在領域に対して、有限状態機械（Ｆｉｎｉｔｅ Ｓｔａｔｅ Ｍｅｃｈａｎｉｓｍ，ＦＳＭ）を用いて行うシーン状態切換及びそれに応じた関心領域（Ｒｅｇｉｏｎ ｏｆ Ｉｎｔｅｒｅｓｔ，ＲＯＩ）の表示処理について説明する。
【００３２】
前記有限状態機械１６０は、シーン状態の集合、初期シーン状態、終了シーン状態の集合、シーン状態間の切換条件の集合を含むように予め定義され、各シーン状態は、初期スコア、スコアの経時的変化の速度、及び固有値を有し、各切換条件は、それぞれの切換動作に関連づけられている。
【００３３】
状態切換装置１３０は、所定のイベントの発生を検知し、シーン状態のリアルタイムスコアの計算及び比較を行うことで、シーン状態間の切換条件を満たしているかを判断し、シーン状態間の切換条件を満たしていると、シーン状態を切り換えるとともに、シーン状態のスコアを変更するようになっている。
【００３４】
例えば、テレビ会議の場合、各シーン状態によって、関心領域が異なってくる。
【００３５】
図６Ａは、一実施例によるシーン状態の切換を示した図であり、図６Ｂは、図６Ａに示されたシーン状態の切換に対応付けられているシーン状態切換表である。
【００３６】
図６Ａに示された例において、テレビ会議のシーン状態は、講演シーン（ｓｐｅａｋｅｒ ｓｃｅｎｅ）と、重要人物シーン（ｋｅｙ ｒｏｌｅ ｓｃｅｎｅ）と、すべての現場参加者のシーンである全体シーン（ｗｈｏｌｅ ｓｃｅｎｅ）に分けられているが、シーン状態は拡張可能であることは、当業者が認識することができる。ここで、重要人物シーンにおける重要人物は、ユーザにより前記最大可能存在領域から予め選定してよい。
【００３７】
有限状態機械１６０は、下記のように定義される。
A = (Q, σ, q0, F)
ここで、Ａは、有限状態機械１６０を示し、Q = {whole scene, speaker scene, key role scene}は、シーン状態の集合であり、q0 = {whole scene},は、ここでは初期シーン状態となるが、他のシーン状態を初期シーン状態としてよいことは言うまでもない。F = {whole scene, speaker scene, key role scene}は、終了シーン状態の集合であり、σ = {a, b, c, d, e},は、シーン状態間の切換条件ａ、ｂ、ｃ、ｄ、及びｅの集合であり、ある切換条件が満たされると、それに応じた切換動作が行われる。
【００３８】
各シーン状態は、リアルタイムスコアを有し、全体シーン状態のリアルタイムスコアは、Ｓｗｈｏｌｅで表され、講演シーン状態のリアルタイムスコアは、Ｓｓｐｅａｋｅｒに表され、重要人物シーン状態のリアルタイムスコアは、Ｓｋｅｙで表され、各シーン状態の初期（時間ｔ＝０）のスコアが初期スコアであり、各シーン状態の初期スコアは同一値Ｓ0に設定されてもよいが、本発明の実施例のシーン映像切換システム１００の詳細設計の要求に応じて、各状態の初期スコアが異なっていてもよいことは言うまでもない。全体シーン状態のスコアの経時変化の速度は、Ｖｗで表され、講演シーン状態のスコアの経時変化の速度は、Ｖｓで表され、重要人物シーン状態のスコアの経時変化の速度は、Ｖｋで表されている。全体シーン状態の固有値は、Ｓ１で表され、講演シーン状態の固有値は、Ｓ２で表され、重要人物シーン状態の固有値は、Ｓ３で表される。各固有値は所定の定数であり、シーン状態の切換条件の調整量とすることができ、設計に応じて変更することもできる。ｔは、時間０の初期時刻から経過した時間である。ここで、各シーン状態の初期スコアと、ｔと、スコアの経時変化の速度と、各シーンの固有値は、正の値に設定されている。
【００３９】
ここで、時間ｔ＝０時の各シーン状態のスコアが同一で、即ち、Ｓｗｈｏｌｅ＝Ｓｓｐｅａｋｅｒ＝Ｓｋｅｙ＝Ｓ0であると仮定する。当業者は、各状態の初期スコアは、設計要求に応じて異なってもよいことが認識できる。また、ここでは全体シーン状態を初期シーン状態にしたが、設計要求に応じて他のシーン状態を初期シーン状態としてもよいことが認識できる。
【００４０】
異なるシーン状態間の切換条件は、イベントを検知し、かつ/またはシーン状態のリアルタイムスコアを計算及び比較し、条件を満たすと、それに応じた切換操作を開始（トリガー）するようにする。
【００４１】
シーン状態間の切換条件ａ、ｂ、ｃ、ｄ、及びｅは、図６Ａに示されたように、矢印は、それぞれの切換条件を満たす場合のシーン状態の切換方向を示し、図６Ｂの表における各条件は、最左列における該条件の位置に対応する行の状態から、最上行における該条件の位置に対応する列の状態への切換を表し、“−”は、その行の状態から、その列の状態への切換がないことを表している。
【００４２】
ａ：新たな話者を検知し、Ｓwhole（＝Ｓwhole+Ｖw*ｔ）を計算し、Ｓwhole＞Ｓ1を満たしているかを判断する。条件ａを満たしていると、開始される切換動作は、全体シーン状態から講演シーン状態に切り換え、かつＳｓｐｅａｋｅｒ＝Ｓｓｐｅａｋｅｒ+Ｓ２である。
【００４３】
ｂ：新たな話者を検知する。条件ｂに対応する切換動作は、講演シーンから講演シーンに切り換え、かつＳｓｐｅａｋｅｒ＝Ｓ０+Ｓ２である。話者が異なる場合があるため、切換条件ｂに対応するシーン切換は、シーン状態種別の角度からは、自身から自身への切換と見なすことができるが、講演シーンのシーン状態種別については、後述するが、関心領域の決定は、検知した話者によって変更可能であり、講演シーンのシーン状態は、検知した話者によって異なる関心領域に対応付けられている。関心領域の抽出については、後述する。
【００４４】
ｃ：Ｓｓｐｅａｋｅｒ（＝Ｓｓｐｅａｋｅｒ-Ｖｓ*ｔ）を計算し、Ｓｓｐｅａｋｅｒ＜Ｓｋｅｙを満たしているかを判断する。条件ｃに対応する切換動作は、講演シーンから重要人物シーンに切り換えることである。
【００４５】
ｄ：新たな話者を検知し、Ｓｋｅｙ（＝Ｓｋｅｙ+Ｖｋ*ｔ）を計算し、Ｓｋｅｙ＞Ｓ３を満たしているかを判断する。条件ｄに対応する切換動作は、重要人物シーンから講演シーンに切り換え、かつＳｓｐｅａｋｅｒ＝Ｓｓｐｅａｋｅｒ+Ｓ２である。
【００４６】
ｅ：Ｓｋｅｙ＝Ｓｋｅｙ+Ｖｋ*ｔ、かつＳｋｅｙ＞Ｓ３である。条件ｅに対応する切換動作は、全体シーンに切り換え、かつＳｗｈｏｌｅ＝Ｓｓｐｅａｋｅｒ＝Ｓｋｅｙ＝Ｓ0である。
【００４７】
図７Ａは、他の実施例によるシーン状態の切換を示した図であり、図７Ｂは、図７Ａに示されたシーン状態の切換に対応付けられているシーン状態切換表である。
【００４８】
図７Ａに示された例において、テレビ会議のシーン状態は、講演シーン（ｓｐｅａｋｅｒ ｓｃｅｎｅ）と、重要人物シーン（ｋｅｙ ｒｏｌｅ ｓｃｅｎｅ）と、単一人物シーン（ｓｉｎｇｌｅ ｓｃｅｎｅ）と、すべての現場参加者のシーンである全体シーン（ｗｈｏｌｅ ｓｃｅｎｅ）に分けられているが、シーン状態は拡張可能であることは、当業者が認識することができる。ここで、重要人物シーンにおける重要人物は、ユーザにより前記最大可能存在領域から予め選定してよい。
【００４９】
有限状態機械１６０は、下記のように定義される。
A = (Q, σ, q0, F)
ここで、Ａは、有限状態機械１６０を示し、Ｑ＝｛whole scene, speaker scene, key role scene, single scene｝は、シーン状態の集合であり、q0 = {whole scene}は、ここでは初期シーン状態となるが、他のシーン状態を初期シーン状態としてもよいことは言うまでもない。Ｆ＝｛whole scene, speaker scene, key role scene, single scene｝は、終了シーン状態の集合であり、σ＝｛a, b, c, d, e, f1, f2, f3, g, h｝は、シーン状態間の切換条件a、b、c、d、e、f1、f2、f3、g及びhの集合であり、ある切換条件が満たされると、それに応じた切換動作が行われる。
【００５０】
各シーン状態は、リアルタイムスコアを有し、全体シーン状態のリアルタイムスコアは、Ｓｗｈｏｌｅで表され、講演シーン状態のリアルタイムスコアは、Ｓｓｐｅａｋｅｒに表され、重要人物シーン状態のリアルタイムスコアは、Ｓｋｅｙで表され、単一事物シーン状態のリアルタイムスコアは、Ｓｓｉｎｇｌｅで表され、各シーン状態の初期（時間ｔ＝０）のスコアは、初期スコアであり、各シーン状態の初期スコアは同一値のＳ0に設定されてもよいが、本発明の実施例のシーン映像切換システム１００の詳細設計の要求に応じて、各状態の初期スコアが異なっていてもよいことは言うまでもない。全体シーン状態のスコアの経時変化の速度は、Ｖｗで表され、講演シーン状態のスコアの経時変化の速度は、Ｖｓで表され、重要人物シーン状態のスコアの経時変化の速度は、Ｖｋで表され、単一人物シーン状態のスコアの経時変化の速度は、Ｖｓで表されている。全体シーン状態の固有値は、Ｓ１で表され、講演シーン状態の固有値は、Ｓ２で表され、重要人物シーン状態の固有値は、Ｓ３で表され、単一人物シーン状態の固有値は、Ｓ４で表される。各固有値は所定の定数であり、シーン状態の切換条件の調整量とすることができ、設計に応じて変更することもできる。ｔは、時間０の初期時刻から経過した時間である。ここで、各シーン状態の初期スコアと、ｔと、スコアの経時変化の速度と、各シーンの固有値は、正の値に設定されている。
【００５１】
ここで、時間ｔ＝０時の各シーン状態のスコアが同一で、即ち、Ｓｗｈｏｌｅ＝Ｓｓｐｅａｋｅｒ＝Ｓｋｅｙ＝Ｓｓｉｎｇｌｅ＝Ｓ0であると仮定する。当業者は、各状態の初期スコアは、設計要求に応じて異なってもよいことが認識できる。また、ここでは全体シーン状態を初期シーン状態にしたが、設計要求に応じて他のシーン状態を初期シーン状態としてもよいことが認識できる。
【００５２】
異なるシーン状態間の切換条件は、イベントを検知し、かつ/またはシーン状態のリアルタイムスコアを計算及び比較し、条件を満たすと、それに応じた切換操作を開始（トリガー）するようにする。
【００５３】
シーン状態間の切換条件ａ、ｂ、ｃ、ｄ、ｅ、ｆ１、ｆ２、ｆ３、ｇ、及びｈは、図７Ａに示されたように、矢印は、それぞれの切換条件を満たす場合のシーン状態の切換方向を示し、図７Ｂの表における各条件は、最左列における該条件の位置に対応する行の状態から、最上行における該条件の位置に対応する列の状態への切換を表し、“−”は、その行の状態から、その列の状態への切換がないことを表している。
【００５４】
ａ：新たな話者を検知し、Ｓwhole（＝Ｓwhole+Ｖw*ｔ）を計算し、Ｓwhole＞Ｓ1を満たしているかを判断する。条件ａを満たしていると、開始される切換動作は、全体シーンから講演シーンに切り換え、かつＳｓｐｅａｋｅｒ＝Ｓｓｐｅａｋｅｒ+Ｓ２である。
【００５５】
ｂ：新たな話者を検知する。条件ｂに対応する切換動作は、講演シーンから講演シーンに切り換え、かつＳｓｐｅａｋｅｒ＝Ｓ０+Ｓ２である。話者が異なる場合があるため、切換条件ｂに対応するシーン切換は、シーン状態種別の角度からは、自身から自身への切換と見なすことができるが、講演シーンのシーン状態種別については、後述するが、関心領域の決定は、検知した話者によって変更可能であり、講演シーンのシーン状態は、検知した話者によって異なる関心領域に対応付けられている。関心領域の抽出については、後述する。
【００５６】
ｃ：Ｓｓｐｅａｋｅｒ（＝Ｓｓｐｅａｋｅｒ-Ｖｓ*ｔ）を計算し、Ｓｓｐｅａｋｅｒ＜Ｓｋｅｙを満たしているかを判断する。条件ｃに対応する切換動作は、講演シーンから重要人物シーンに切り換えることである。
【００５７】
ｄ：新たな話者を検知し、Ｓｋｅｙ（＝Ｓｋｅｙ+Ｖｋ*ｔ）を計算し、Ｓｋｅｙ＞Ｓ３を満たしているかを判断する。条件ｄに対応する切換動作は、重要人物シーンから講演シーンに切り換え、かつＳｓｐｅａｋｅｒ＝Ｓｓｐｅａｋｅｒ+Ｓ２である。
【００５８】
ｅ：Ｓｋｅｙ＝Ｓｋｅｙ+Ｖｋ*ｔ、かつＳｋｅｙ＞Ｓ３である。条件ｅに対応する切換動作は、全体シーンに切り換え、かつＳｗｈｏｌｅ＝Ｓｓｐｅａｋｅｒ＝Ｓｋｅｙ＝Ｓｓｉｎｇｌｅ＝Ｓ0である。
【００５９】
ｆ１：新メンバーの参加を検知し、Ｓwhole（＝Ｓwhole+Ｖw*ｔ）を計算し、Ｓwhole＞Ｓ1を満たしているかを判断する。切換条件ｆ１に対応する切換動作は、単一人物シーンに切り換え、Ｓｓｉｎｇｌｅ＝Ｓｓｉｎｇｌｅ+Ｓ4である。
【００６０】
ｆ２：Ｓｓｐｅａｋｅｒ（＝Ｓｓｐｅａｋｅｒ-Ｖｓ*ｔ）を計算し、Ｓｓｐｅａｋｅｒ＜Ｓｓｉｎｇｌｅを満たしているかを判断する。条件ｆ２に対応する切換動作は、単一人物シーンに切り換え、Ｓｓｉｎｇｌｅ＝Ｓｓｉｎｇｌｅ+Ｓ4である。
【００６１】
ｇ：Ｓｓｉｎｇｌｅ（＝Ｓｓｉｎｇｌｅ-Ｖｓ*ｔ）を計算し、Ｓｓｉｎｇｌｅ＜Ｓｋｅｙを満たしているかを判断する。条件ｇに対応する切換動作は、重要人物シーンに切り換えることである。
【００６２】
ｈ：新メンバーの参加を検知する。条件ｈに対応する切換動作は、単一人物シーンに切り換え、かつＳｓｉｎｇｌｅ＝Ｓ０+Ｓ２である。講演シーンと同様に、異なる話者に対応する場合があり、単一人物シーンに関しては、異なるメンバーが新たに加入する場合があるため、切換条件ｈに対応するシーン切換は、シーン状態種別の角度からは、自身から自身への切換と見なすことができるが、単一人物シーンのシーン状態種別については、後述するが、関心領域の決定は、検知した新メンバーによって変更可能であり、単一人物シーンのシーン状態は、検知した新メンバーによって異なる関心領域に対応付けられている。また、新メンバーの加入があるため、全体シーンに対応する関心領域も、あわせて新たに加入するメンバーを含むように調整される。関心領域の抽出については、後述する。
【００６３】
話者、新加入者、及び途中退席者の検知は、従来の音声、映像検知手段で実現することができる。
【００６４】
本発明における有限状態機械は、前記設計に限らず、前述の記載から、他の有限状態機械も本発明に適用することが可能であることを、当業者は想到することができる。例えば、前述のシーン状態のうち任意の一つは、除去可能である一方、各参加者を順番で表示するなどのシーン状態をさらに増加することができる。また、メンバー退席のイベントを検知してもよく、他の切換条件と切換動作を設定してもよい。
【００６５】
異なるシーン状態を設計して、異なる関心領域に対応することができる。あるシーン状態において、前述と同様の最大可能存在領域の決定手段や、他の画像切り取り方法により、関心領域を抽出し、表示すべきシーン映像とすることができる。例えば、全体シーン状態において、関心領域は、すべての参加者を含む矩形であり、講演シーン状態において、関心領域は、話者を含み、かつ該話者を中心とした一定範囲内の矩形であり、重要人物シーン状態において、関心領域は、重要人物を含み、かつ該重要人物を中心とした一定範囲内の矩形である。また、選択的に、通常の画像処理手段により、抽出した関心領域を拡大表示してもよい。
【００６６】
図８の（Ａ）、（Ｂ）及び（Ｃ）は、図５に示された最大可能存在領域に対して各シーン状態で抽出された各関心領域及びその拡大表示を示した図である。
【００６７】
図５に示された最大可能存在領域の例において、図８（Ａ）は、全体シーン状態で、関心領域を抽出して拡大表示したシーン映像を示し、メンバー２３の発言を検知すると、シーン状態を講演シーン状態に切り換えるとともに、メンバー２３を中心とした関心領域を抽出して拡大表示している（図８（Ｂ）に図示）。メンバー２１、２２が重要人物であり、関連条件を満たしていると、メンバー２１、２２を中心とした関心領域を抽出してもよく、図８（Ｃ）に示されたように、拡大表示することができる。前記関心領域の抽出及びシーン映像の表示は、単に例として図示されたもので、各種修正が可能なことはいうまでもない。
【００６８】
本発明の実施例の更なる改善として、選択的に、図１に示されたシーン映像切換システム１００は、前記状態切換装置１３０により切り換えられた現シーン状態に基づき、それに応じた関心領域における現場参加者の顔の解像度から、全体シーン映像の視覚品質を決定し、該視覚品質が所定の閾値未満であると、該シーン映像の視覚品質を高める表示強調装置１７０をさらに有してもよい。
【００６９】
例えば、表示したシーン映像において、撮像装置から離れた場所に位置する参加者がいる場合、該参加者の最大可能存在領域における面積が小さくなり、抽出及び拡大後に、ぼんやりしすぎる等の視覚品質が低いという問題が生じてしまう。閾値を予め定義し、表示した参加者の映像の視覚品質が該所定の閾値未満であると、伝送及び表示すべき映像フレームの質を向上することができる。
【００７０】
例えば、下記式（１）により、視覚品質を向上すべきか否かの判断を行うことができる。
【数１】
式中、
【数２】
は、現シーン画像である現映像フレームの解像度であり、
【数３】
は、現シーン画像を表し、
【数４】
は、ｉ（ｉは自然数）番目の参加者Ｐｉの顔の解像度であり、Ｔｈは、予め定義した閾値であり、該閾値Ｔｈは、シーン状態によって異なるように設定してもよい。
【００７１】
式（１）を満足すると、現映像フレームの視覚品質が低いと判断し、該シーン映像の視覚品質の向上を選択することができる。
【００７２】
視覚品質は、参加者顔の映像フレームにおける解像度の度合いにより算出してもよく、各参加者顔の映像フレームにおけるＰＳＮＲ値（ピーク信号対ノイズ比）を計算し、該ＰＳＮＲ値が所定の閾値未満であると、視覚品質が好ましくないと判断し、さらに視覚品質の向上を選択してもよい。
【００７３】
例えば、撮像装置から離れている参加者に対し、時間領域上のフレーム間情報により、高視覚品質を得ることができる。例えば、複数の隣り合うフレームの時間領域上の関連情報により、各フレームのコンテンツの細部を回復し、具体的に、超解像度方法を用いて、先ず、高品質の補間値を用いて処理すべき映像フレームを元の２倍に拡大し、その後、画素運動補償動作により、該現映像フレームの隣接フレームから、近似領域を検索し、画像情報を融合し、元映像フレームのサイズに還元することができる。なお、線形補間、最近接補間、双線形補間、三次補間などの方法で、映像フレームの視覚品質を向上してもよい。
【００７４】
本発明の他の実施例においては、さらに、前述のシーン映像切換システム１００で実施される関心領域の動的検知に基づいたシーン映像切換方法が提供される。このシーン映像切換方法は、前述の入力装置１１０で実行され、撮像装置１０からの現撮像画像を現フレーム画像として入力するステップと、前述の検知装置１２０で実行され、前記入力ステップで入力される現フレーム画像から、全ての関心要素と潜在要素を検知し、前記関心要素の最大可能存在領域を決定する検知ステップと、前述の状態切換装置１３０で実行され、予め定義される有限状態機械１６０により、予め定義されたそれぞれのシーン状態及び切換条件に基づいて、最大可能存在領域のシーン状態間の切換を行う状態切換ステップと、前述の表示装置１４０で実行され、状態切換ステップで切り換えられた現シーン状態に応じて、前記最大可能存在領域から、該現シーン状態を満たす関心領域をシーン映像として抽出して表示する表示ステップと、を有する。
【００７５】
また、前記関心要素は、現場の参加者であり、前記潜在要素は、所定の参加者の可能出現場所である。
【００７６】
また、前記検知ステップにおいて、混合ガウスモデルの動的背景モデル構築に基づいた前景対象検知により、前記現フレーム画像から前景画像を検知し、人物の顔と頭部検知により、該前景画像からの現場参加者の検知を行い、所定の特徴の検知により、前記現フレーム画像から前記所定の現場参加者の可能出現場所を検知している。
【００７７】
また、前記最大可能存在領域が、すべての関心要素と潜在要素を含む矩形であり、該矩形の左辺が、検知した最左側の関心要素と潜在要素の左縁であり、該矩形の上辺が、検知した最上側の関心要素と潜在要素の上縁であり、該矩形の右辺が、検知した最右側の関心要素と潜在要素の右縁であり、該矩形の下辺が、検知した最下側の関心要素と潜在要素の下縁である。
【００７８】
また、前記シーン映像切換方法は、撮像装置の調整ステップをさらに有し、前述の撮像装置の調整装置１５０で実行され、前記撮像装置１０の結像範囲の中心点が前記最大可能存在領域の中心点に移動するように、前記現フレーム画像と前記最大可能存在領域との位置関係から、前記撮像装置１０の水平方向及び垂直方向における必要な回転角度を計算している。
【００７９】
また、前記撮像装置の調整ステップにおいて、前記撮像装置１０の結像範囲内において、前記最大可能存在領域の幅と高さを調整している。
【００８０】
また、前記有限状態機械１６０は、シーン状態の集合、初期シーン状態、終了シーン状態の集合、シーン状態間の切換条件の集合を含むように予め定義されるようにした。ここで、各シーン状態は、初期スコア、スコアの経時変化の速度、固有値を有し、各切換条件は、それぞれの切換動作に関連付けられている。
【００８１】
前記状態切換ステップにおいて、所定のイベントの発生を検知し、シーン状態のリアルタイムスコアの計算及び比較を行うことで、シーン状態間の切換条件を満たしているかを判断し、シーン状態間の切換条件を満たしていると、シーン状態を切り換えるとともに、シーン状態のスコアを変更するようにした。
【００８２】
前記シーン映像切換方法は、さらに表示強調ステップを含むことができ、前記状態切換装置１７０により実行され、前記状態切換装置により切り換えられた現シーン状態に基づき、それに応じた関心領域における現場参加者の顔の解像度から、全体シーン映像の視覚品質を決定し、該視覚品質が所定の閾値未満であると、該シーン映像の視覚品質を高めている。
【００８３】
本発明の実施例は、例えば、テレビ会議システム、遠隔医療システム等の各種ビデオシステムに適用することができる。関心要素のみならず、潜在要素も考慮し、関心要素と潜在要素の検知により、撮像装置の映像収集範囲を決定し、関心要素の最大可能存在領域を取得している。有限状態機械のメカニズムを用いて動的に関心領域を検知し、抽出及び遠隔表示することで、遠隔ビデオシステムのユーザに最適映像をスムーズに提供することができる。選択的には、さらに超解像度と所定の視覚品質に基づいた表示強調技術を用いて、原ビデオ映像の質が劣化している場合にも、効率よくビデオ映像の視覚品質を向上することができる。
【００８４】
本明細書における一連の動作は、ハードウェアや、ソフトウェアや、ハードウェアとソフトウェアの組み合わせから実行することができる。ソフトウェアにより該一連の動作を実行時には、コンピュータプログラムを専用ハードウェアのコンピュータに内蔵されたメモリにインストールし、コンピュータにより該コンピュータプログラムを実行させてもよい。或いは、コンピュータプログラムを各種処理が実行可能な汎用コンピュータにインストールし、コンピュータにより該コンピュータプログラムを実行させてもよい。
【００８５】
例えば、コンピュータプログラムを記録媒体であるハードディスクやＲＯＭに予め保存するか、一時または永久的にコンピュータプログラムをフロッピや、ＣＤ−ＲＯＭや、ＭＯや、ＤＶＤや、磁気ディスクや、半導体メモリ等のような移動記録媒体に保存（記録）することができ、このような移動記録媒体をパッケージとして提供してもよい。
【００８６】
以上、本発明の好ましい実施形態を説明したが、本発明はこの実施形態に限定されず、本発明の趣旨を離脱しない限り、本発明に対するあらゆる変更は本発明の範囲に属する。
【技術分野】
【０００１】
本発明は、関心領域の動的検知に基づいたシーン状態切換システム、及び関心領域の動的検知に基づいたシーン状態切換方法に関する。
【背景技術】
【０００２】
映像圧縮と映像強調分野における技術の発展に伴い、遠隔ビデオシステムが益々幅広く利用されつつある。遠隔ビデオシステムの例としては、例えば、遠隔テレビ会議システムや、遠隔医療システム等があり、特徴として、少なくとも２つの端末に映像収集装置と映像表示装置をそれぞれ設置し、有線または無線の通信手段により、各端末を接続することで、各端末のユーザの相手側のリアルタイムやオフラインの映像の取得が可能になる。遠隔ビデオシステムの応用においては、関心領域の動的検知により、可能な関心領域のシーンを相手に強調して表示することで、遠隔ビデオシステムのユーザの利便性が著しく向上している。
【０００３】
関心領域の動的検知に基づいた表示シーンの変換については、以下の技術が提案されている。
【０００４】
特許文献１（ＵＳ２０１００１０３２４５Ａ１）には、関心領域を動的検知し、関心領域の最適化表示を行い、非関心領域の表示を無視するという技術が提案されている。該技術においては、それぞれの関心領域の内容によって、表示領域のサイズの比率の自動調整が可能である。しかしながら、特許文献１において、関心領域は、人物の顔に限られており、画像のサイズは、人物の顔のサイズに正比例するのみで、テレビ会議のシーン状態の分類は行われていない。一方、関心領域のサイズが小さい場合、単に同一比率で拡大してしまうと、画質がある程度限定されてしまう。
【０００５】
特許文献２（ＵＳ７５８００５４Ｂ２）には、全方位撮像ヘッドにより会議を撮影するとともに、ユーザへのリアルタイムとオフラインの映像表示が可能な技術が提案されている。該技術には、撮像ヘッドの制御を行う自動撮像ヘッド管理システム、及び現場参加者の位置決めを行う分析モジュールが含まれている。しかしながら、該特許文献２においては、全方位撮像ヘッドや複数の通常の撮像ヘッドからなるアレイによる各現場参加者の映像提供が必要となり、ハードウェア装置の面で重い負担になってしまう。さらに、ユーザは、単一人物の映像間の切換しかできないため、他の関心領域の重要な情報が紛失される恐れがある。
【０００６】
特許文献３（ＵＳ２００９００１５６５８Ａ１）には、映像検知技術を用いて、撮像ヘッドから撮像された映像フレーム内の現場参加者の検知を行うとともに、検知した現場参加者の位置とサイズ情報から、撮像ヘッドの方向及び拡大縮小の自動調整を行うことにより、すべての現場参加者を含む最適の画像の提供が可能になる。しかしながら、特許文献３においては、すべての現場参加者を含む映像しか提供することができず、単一人物の映像提供の面には制限がある。また、特許文献３においては、現場参加者の退席は効率よく検知するものの、新メンバーの参加の検知については、検知領域外で音声情報の位置決めを行うため、一定の制限を受けてしまう。
【０００７】
特許文献４（ＵＳ６６１１２８１Ｂ２）には、テレビ会議における複数現場参加者の追跡方法が提案されている。該方法においては、テレビ会議のモニターを行い、映像の位置決め情報を生成して出力し、音声の位置決め情報を生成して出力し、映像と音声の位置決め情報から、撮像ヘッドのパラメータ調整を行っている。該特許文献４においては、話者と全現場参加者のシーン映像の切換しかできず、話者の映像及び音声への検知及び位置決めのみで、映像を該話者へ切り換えている。なお、該特許文献４では、関心領域の動的検知及び切換は行わず、シーンの拡張性は提案されていないため、人の会議への参加または退席時の映像の自動調整については何ら提案もない。
【０００８】
前述の関連技術としての特許文献に提案されている技術においては、常にテレビ会議に最適の映像を提供することができない。理由としては、ユーザの関心領域は、全体の会議進行において常に変化しているからである。例えば、特許文献４では、２種類の選択可能なシーン映像しか提供することができず、関心領域の動的検知及びそれに応じたシーン状態切換はできない。また、特許文献２では、異なるシーン映像の提供は可能であるが、ハードウェアの急激な増加は代価となり、関心領域の動的検知及びそれに応じたシーン状態の切換はできない。また、特許文献１では、関心領域による映像表示が提案されているが、定義される関心領域が限られているとともに、それの動的検知およびシーン切換ができず、シーン映像の視覚品質が望ましくないことがある。
【発明の概要】
【発明が解決しようとする課題】
【０００９】
本発明は、従来技術における前記問題に鑑みてなされたものである。本発明の目的は、関心領域の動的検知に基づいたシーン状態の切換システム、及び関心領域の動的検知によるシーン状態の切換方法を提供することにある。
【課題を解決するための手段】
【００１０】
本発明の一実施例によれば、関心要素に基づくシーン状態の切換システムが提供される。この切換システムは、撮像装置で撮像した現撮像画像を現フレーム画像として入力する入力装置と、前記入力装置から入力される前記現フレーム画像から関心要素の最大可能存在領域を決定する検知装置と、予め定義されたそれぞれのシーン状態及び切換条件に基づいて、前記最大可能存在領域のシーン状態間の切換を行う状態切換装置と、前記状態切換装置により切り換えられた現シーン状態に応じて、前記最大可能存在領域から、前記現シーン状態と一致する関心領域を表示する表示装置と、を含む。
【００１１】
また、本発明の他の実施例によれば、関心要素に基づくシーン状態の切換方法が提供される。この切換方法は、撮像装置で撮像した現撮像画像を現フレーム画像として入力するステップと、前記入力ステップで入力される前記現フレーム画像から関心要素の最大可能存在領域を決定する検知ステップと、予め定義されたそれぞれのシーン状態及び切換条件に基づいて、最大可能存在領域のシーン状態間の切換を行う状態切換ステップと、前記状態切換ステップで切り換えられた現シーン状態に応じて、前記最大可能存在領域から、前記現シーン状態と一致する関心領域を表示する表示ステップと、を含む。
【００１２】
本発明の前述の実施例によると、有限状態機械を用いて関心領域を動的に検知し、ユーザに関心領域を表示し、優れた映像を提供するとともに、ユーザの全体のシーンの雰囲気への配慮を可能にしている。場所の配置、例えば、大きさ、形状、参加人数等のパラメータ、及び、全体のイベント（例えば、会議、医療等）進行過程においてシーンが異なることを考慮することにより、本発明の実施例による技術は、関心領域の動的検知を効率よく用いることで、最適映像の提供を円滑に行うことができる。
【００１３】
関心要素のみならず、潜在要素も考慮し、関心要素及び潜在要素に基づいた検知により、撮像装置の映像取得範囲を決定し、関心要素の最大可能存在領域を取得することができる。潜在要素の位置とは、新規加入の関心要素が最も出現する可能性のある位置である。また、追跡メカニズムを更に組み合わせることで、関心要素の退席と新規加入を容易に発見することができる。
【００１４】
また、超解像度（Super-resolution）と所定の視覚品質に基づいた表示強調技術を用いることで、原映像の質が劣化している場合でも、効率よく映像の視覚品質を向上することができる。
【発明の効果】
【００１５】
本発明の実施例によると、関心領域の動的検知に基づいたシーン状態の切換システム、及び関心領域の動的検知によるシーン状態の切換方法を提供することができる。
【図面の簡単な説明】
【００１６】
【図１】本発明の一実施例による、関心領域の動的検知に基づいたシーン映像切換システムの全体ブロック図である。
【図２】遠隔会議システムを例として、会議場所を示した図である。
【図３】図２に示した会議場所における撮像装置から得られた映像を示した図である。
【図４】図３に示した現フレーム画像から決定された最大可能存在領域を示した図である。
【図５】撮像装置の調整装置による調整後の撮像装置の結像状況を示す図である。
【図６Ａ】本発明の一実施例によるシーン状態切換を示した図である。
【図６Ｂ】図６Ａに示したシーン状態の切換に対応付けられているシーン状態切換表である。
【図７Ａ】本発明の他の実施例におけるシーン状態切換を示した図である。
【図７Ｂ】図７Ａに示したシーン状態の切換に対応付けられているシーン状態切換表である。
【図８】図５に示した最大可能存在領域に対して各シーン状態で抽出された各関心領域及びその拡大表示を示した図である。
【発明を実施するための形態】
【００１７】
以下、添付した図面を参照しながら、本発明の好適な実施形態を詳細に説明する。
【００１８】
図１は、本発明の一実施例による、関心領域の動的検知に基づいたシーン映像切換システム１００の全体ブロック図である。図１に示されたように、関心領域の動的検知に基づいたシーン映像切換システム１００は、撮像装置１０からの現撮像画像を現フレーム画像として入力する入力装置１１０と、前記入力装置１１０から入力される前記現フレーム画像から、全部の関心要素と潜在要素を検知し、前記関心要素の最大可能存在領域を決定する検知装置１２０と、予め定義される有限状態機械１６０により、予め定義されたそれぞれのシーン状態及び切換条件に基づいて、最大可能存在領域のシーン状態間の切換を行う状態切換装置１３０と、前記状態切換装置１３０により切り換えられた現シーン状態に応じて、前記最大可能存在領域から、該現シーン状態と一致する関心領域をシーン映像として抽出して表示する表示装置１４０と、を備えている。
【００１９】
シーン映像切換システム１００は、遠隔会議システムに用いられる場合は、会議室を場所とすることができ、遠隔医療システムに用いられる場合は、診療室、ひいては手術室などを場所とすることができる。以下、遠隔会議システムに用いられることを例として、本発明の実施例におけるシーン映像切換システム１００を説明するが、本発明の実施例によるシーン映像切換システム１００の実現は、遠隔会議システムに依存するものではなく、他の遠隔ビデオシステムに適用可能なことは、当業者が認識することができる。
【００２０】
撮像装置１０は、現場の映像を撮像するもので、例えば、撮像ヘッド、ビデオカメラ、カメラ等の映像画像形成装置であり、そのレンズは、通常のもの、全方位のもの、或いは広角のものでよい。
【００２１】
ここで、前記関心要素は、現場参加者であり、前記潜在要素は、所定の現場参加者の可能な出現場所であり、例えば、現場における空椅子、プレゼンテーションボード、スライドプロジェクター等である。
【００２２】
図２は、遠隔会議システムを例として、会議場所を示した図であり、撮像装置１０と、現場参加者２１、２２、２３、２４と、空椅子３１、３２、３３、３４が示されている。本発明の一実施例におけるシーン映像切換システム１００に用いられる遠隔会議システムは、現場参加者４人に限られるものではなく、現場参加者の出現可能な潜在場所も、空椅子に限るものではなく、数も４つに限られるものではないことは言うまでもない。
【００２３】
図３は、図２に示した会議場所における撮像装置から得られた映像を示した図である。
【００２４】
前記検知装置１２０は、撮像装置１０からの現撮像画像である現フレーム画像に対し、混合ガウスモデル（Gaussian Mixture Model）の動的背景モデル構築に基づいた前景対象検知により、前記現フレーム画像から前景画像を検知し、人物の顔と頭部の検知により、該前景画像からの現場参加者の検知を行い、所定の特徴の検知や、事前のデータ集合による訓練により、前記現フレーム画像から前記所定の現場参加者の可能な出現場所を検知することができる。混合ガウスモデルの動的背景モデル構築に基づいた前景対象検知と、人物の顔と頭部の検知と、空椅子、プレゼンテーションボード、スライドプロジェクター等の所定の特徴の検知は、すべて成熟した従来の技術手段から実現することができる。現場の参加者の検知のみならず、空椅子といった潜在場所の検知も行う理由は、会議中のメンバーの新規参加や現場参加者の退席を考慮し、現場の参加者の最大可能存在領域に漏れが生じることを極力避けるためである。
【００２５】
図４は、図３に示された現フレーム画像から決定された最大可能存在領域を示した図である。ここで、(α0,φ0)は、撮像装置１０から撮像された現フレーム画像の中心点であり、破線フレーム５０は、決定した現場参加者の最大可能存在領域であり、(αa,φa)は、最大可能存在領域５０の中心点である。
【００２６】
前記最大可能存在領域５０は、すべての関心要素と潜在要素を含む矩形であり、該矩形の左辺が、検知した最左側の関心要素と潜在要素の左縁であり、該矩形の上辺が、検知した最上側の関心要素と潜在要素の上縁であり、該矩形の右辺が、検知した最右側の関心要素と潜在要素の右縁であり、該矩形の下辺が、検知した最下側の関心要素と潜在要素の下縁である。矩形の各辺及びその中心点の決定は、コンピュータグラフィックの通常手段により実現することができる。
【００２７】
本発明の一実施例のシーン映像切換システム１００は、最大可能存在領域に対し、関心領域の抽出及びシーン状態切換といった操作・処理を行うために、システムの改善として、図１に示されたシーン映像切換システム１００は、撮像装置１０の調整装置１５０を更に有することが好ましい。該撮像装置１０の調整装置１５０は、前記撮像装置１０の結像範囲の中心が前記最大可能存在領域の中心に移動するように、前記現フレーム画像と前記最大可能存在領域との位置関係から、前記撮像装置１０の水平方向及び垂直方向における必要な回転角度を計算するようになっている。なお、前記撮像装置の調整装置１５０は、前記撮像装置１０の結像範囲内において、前記最大可能存在領域の幅と高さを調整するようになっている。
【００２８】
例えば、撮像装置１０の調整装置１５０は、撮像装置１０の結像範囲と、決定した最大可能存在領域と、撮像装置１０の固有パラメータとにより、すべての現場参加者及び可能な出現位置を含む注目すべき領域で撮像装置１０の結像範囲が充満されるように、撮像装置１０のレンズに必要な水平方向上の回転（Ｐａｎ）角度、垂直方向上の回転（Ｔｉｌｔ）角度、及び拡大縮小の比率（Ｚｏｏｍ）を計算する。これらの回転角度及び拡大縮小比率は、ＰＴＺパラメータと称されており、撮像装置調整装置１５０は、算出されたＰＴＺパラメータにより、撮像装置１０の調整を行っている。
【００２９】
コンピュータグラフィック及びコンピュータ画像処理分野における従来技術により、必要なＰＴＺパラメータを算出し、ＰＴＺパラメータにて調整された後の撮像装置１０からの撮像画像は、例えば、図５に示されたようになる。
【００３０】
図５は、撮像装置の調整装置１５０による調整後の撮像装置１０の、図１に示された現場撮影への撮影から得られた画像である。ここで、最大可能存在領域により全結像範囲が極力充填され、矩形フレームの中心点は、現フレーム画像の中心点であり、最大可能存在領域の中心点でもある。
【００３１】
次に、本発明の一実施例によるシーン映像切換システム１００において、最大可能存在領域に対して、有限状態機械（Ｆｉｎｉｔｅ Ｓｔａｔｅ Ｍｅｃｈａｎｉｓｍ，ＦＳＭ）を用いて行うシーン状態切換及びそれに応じた関心領域（Ｒｅｇｉｏｎ ｏｆ Ｉｎｔｅｒｅｓｔ，ＲＯＩ）の表示処理について説明する。
【００３２】
前記有限状態機械１６０は、シーン状態の集合、初期シーン状態、終了シーン状態の集合、シーン状態間の切換条件の集合を含むように予め定義され、各シーン状態は、初期スコア、スコアの経時的変化の速度、及び固有値を有し、各切換条件は、それぞれの切換動作に関連づけられている。
【００３３】
状態切換装置１３０は、所定のイベントの発生を検知し、シーン状態のリアルタイムスコアの計算及び比較を行うことで、シーン状態間の切換条件を満たしているかを判断し、シーン状態間の切換条件を満たしていると、シーン状態を切り換えるとともに、シーン状態のスコアを変更するようになっている。
【００３４】
例えば、テレビ会議の場合、各シーン状態によって、関心領域が異なってくる。
【００３５】
図６Ａは、一実施例によるシーン状態の切換を示した図であり、図６Ｂは、図６Ａに示されたシーン状態の切換に対応付けられているシーン状態切換表である。
【００３６】
図６Ａに示された例において、テレビ会議のシーン状態は、講演シーン（ｓｐｅａｋｅｒ ｓｃｅｎｅ）と、重要人物シーン（ｋｅｙ ｒｏｌｅ ｓｃｅｎｅ）と、すべての現場参加者のシーンである全体シーン（ｗｈｏｌｅ ｓｃｅｎｅ）に分けられているが、シーン状態は拡張可能であることは、当業者が認識することができる。ここで、重要人物シーンにおける重要人物は、ユーザにより前記最大可能存在領域から予め選定してよい。
【００３７】
有限状態機械１６０は、下記のように定義される。
A = (Q, σ, q0, F)
ここで、Ａは、有限状態機械１６０を示し、Q = {whole scene, speaker scene, key role scene}は、シーン状態の集合であり、q0 = {whole scene},は、ここでは初期シーン状態となるが、他のシーン状態を初期シーン状態としてよいことは言うまでもない。F = {whole scene, speaker scene, key role scene}は、終了シーン状態の集合であり、σ = {a, b, c, d, e},は、シーン状態間の切換条件ａ、ｂ、ｃ、ｄ、及びｅの集合であり、ある切換条件が満たされると、それに応じた切換動作が行われる。
【００３８】
各シーン状態は、リアルタイムスコアを有し、全体シーン状態のリアルタイムスコアは、Ｓｗｈｏｌｅで表され、講演シーン状態のリアルタイムスコアは、Ｓｓｐｅａｋｅｒに表され、重要人物シーン状態のリアルタイムスコアは、Ｓｋｅｙで表され、各シーン状態の初期（時間ｔ＝０）のスコアが初期スコアであり、各シーン状態の初期スコアは同一値Ｓ0に設定されてもよいが、本発明の実施例のシーン映像切換システム１００の詳細設計の要求に応じて、各状態の初期スコアが異なっていてもよいことは言うまでもない。全体シーン状態のスコアの経時変化の速度は、Ｖｗで表され、講演シーン状態のスコアの経時変化の速度は、Ｖｓで表され、重要人物シーン状態のスコアの経時変化の速度は、Ｖｋで表されている。全体シーン状態の固有値は、Ｓ１で表され、講演シーン状態の固有値は、Ｓ２で表され、重要人物シーン状態の固有値は、Ｓ３で表される。各固有値は所定の定数であり、シーン状態の切換条件の調整量とすることができ、設計に応じて変更することもできる。ｔは、時間０の初期時刻から経過した時間である。ここで、各シーン状態の初期スコアと、ｔと、スコアの経時変化の速度と、各シーンの固有値は、正の値に設定されている。
【００３９】
ここで、時間ｔ＝０時の各シーン状態のスコアが同一で、即ち、Ｓｗｈｏｌｅ＝Ｓｓｐｅａｋｅｒ＝Ｓｋｅｙ＝Ｓ0であると仮定する。当業者は、各状態の初期スコアは、設計要求に応じて異なってもよいことが認識できる。また、ここでは全体シーン状態を初期シーン状態にしたが、設計要求に応じて他のシーン状態を初期シーン状態としてもよいことが認識できる。
【００４０】
異なるシーン状態間の切換条件は、イベントを検知し、かつ/またはシーン状態のリアルタイムスコアを計算及び比較し、条件を満たすと、それに応じた切換操作を開始（トリガー）するようにする。
【００４１】
シーン状態間の切換条件ａ、ｂ、ｃ、ｄ、及びｅは、図６Ａに示されたように、矢印は、それぞれの切換条件を満たす場合のシーン状態の切換方向を示し、図６Ｂの表における各条件は、最左列における該条件の位置に対応する行の状態から、最上行における該条件の位置に対応する列の状態への切換を表し、“−”は、その行の状態から、その列の状態への切換がないことを表している。
【００４２】
ａ：新たな話者を検知し、Ｓwhole（＝Ｓwhole+Ｖw*ｔ）を計算し、Ｓwhole＞Ｓ1を満たしているかを判断する。条件ａを満たしていると、開始される切換動作は、全体シーン状態から講演シーン状態に切り換え、かつＳｓｐｅａｋｅｒ＝Ｓｓｐｅａｋｅｒ+Ｓ２である。
【００４３】
ｂ：新たな話者を検知する。条件ｂに対応する切換動作は、講演シーンから講演シーンに切り換え、かつＳｓｐｅａｋｅｒ＝Ｓ０+Ｓ２である。話者が異なる場合があるため、切換条件ｂに対応するシーン切換は、シーン状態種別の角度からは、自身から自身への切換と見なすことができるが、講演シーンのシーン状態種別については、後述するが、関心領域の決定は、検知した話者によって変更可能であり、講演シーンのシーン状態は、検知した話者によって異なる関心領域に対応付けられている。関心領域の抽出については、後述する。
【００４４】
ｃ：Ｓｓｐｅａｋｅｒ（＝Ｓｓｐｅａｋｅｒ-Ｖｓ*ｔ）を計算し、Ｓｓｐｅａｋｅｒ＜Ｓｋｅｙを満たしているかを判断する。条件ｃに対応する切換動作は、講演シーンから重要人物シーンに切り換えることである。
【００４５】
ｄ：新たな話者を検知し、Ｓｋｅｙ（＝Ｓｋｅｙ+Ｖｋ*ｔ）を計算し、Ｓｋｅｙ＞Ｓ３を満たしているかを判断する。条件ｄに対応する切換動作は、重要人物シーンから講演シーンに切り換え、かつＳｓｐｅａｋｅｒ＝Ｓｓｐｅａｋｅｒ+Ｓ２である。
【００４６】
ｅ：Ｓｋｅｙ＝Ｓｋｅｙ+Ｖｋ*ｔ、かつＳｋｅｙ＞Ｓ３である。条件ｅに対応する切換動作は、全体シーンに切り換え、かつＳｗｈｏｌｅ＝Ｓｓｐｅａｋｅｒ＝Ｓｋｅｙ＝Ｓ0である。
【００４７】
図７Ａは、他の実施例によるシーン状態の切換を示した図であり、図７Ｂは、図７Ａに示されたシーン状態の切換に対応付けられているシーン状態切換表である。
【００４８】
図７Ａに示された例において、テレビ会議のシーン状態は、講演シーン（ｓｐｅａｋｅｒ ｓｃｅｎｅ）と、重要人物シーン（ｋｅｙ ｒｏｌｅ ｓｃｅｎｅ）と、単一人物シーン（ｓｉｎｇｌｅ ｓｃｅｎｅ）と、すべての現場参加者のシーンである全体シーン（ｗｈｏｌｅ ｓｃｅｎｅ）に分けられているが、シーン状態は拡張可能であることは、当業者が認識することができる。ここで、重要人物シーンにおける重要人物は、ユーザにより前記最大可能存在領域から予め選定してよい。
【００４９】
有限状態機械１６０は、下記のように定義される。
A = (Q, σ, q0, F)
ここで、Ａは、有限状態機械１６０を示し、Ｑ＝｛whole scene, speaker scene, key role scene, single scene｝は、シーン状態の集合であり、q0 = {whole scene}は、ここでは初期シーン状態となるが、他のシーン状態を初期シーン状態としてもよいことは言うまでもない。Ｆ＝｛whole scene, speaker scene, key role scene, single scene｝は、終了シーン状態の集合であり、σ＝｛a, b, c, d, e, f1, f2, f3, g, h｝は、シーン状態間の切換条件a、b、c、d、e、f1、f2、f3、g及びhの集合であり、ある切換条件が満たされると、それに応じた切換動作が行われる。
【００５０】
各シーン状態は、リアルタイムスコアを有し、全体シーン状態のリアルタイムスコアは、Ｓｗｈｏｌｅで表され、講演シーン状態のリアルタイムスコアは、Ｓｓｐｅａｋｅｒに表され、重要人物シーン状態のリアルタイムスコアは、Ｓｋｅｙで表され、単一事物シーン状態のリアルタイムスコアは、Ｓｓｉｎｇｌｅで表され、各シーン状態の初期（時間ｔ＝０）のスコアは、初期スコアであり、各シーン状態の初期スコアは同一値のＳ0に設定されてもよいが、本発明の実施例のシーン映像切換システム１００の詳細設計の要求に応じて、各状態の初期スコアが異なっていてもよいことは言うまでもない。全体シーン状態のスコアの経時変化の速度は、Ｖｗで表され、講演シーン状態のスコアの経時変化の速度は、Ｖｓで表され、重要人物シーン状態のスコアの経時変化の速度は、Ｖｋで表され、単一人物シーン状態のスコアの経時変化の速度は、Ｖｓで表されている。全体シーン状態の固有値は、Ｓ１で表され、講演シーン状態の固有値は、Ｓ２で表され、重要人物シーン状態の固有値は、Ｓ３で表され、単一人物シーン状態の固有値は、Ｓ４で表される。各固有値は所定の定数であり、シーン状態の切換条件の調整量とすることができ、設計に応じて変更することもできる。ｔは、時間０の初期時刻から経過した時間である。ここで、各シーン状態の初期スコアと、ｔと、スコアの経時変化の速度と、各シーンの固有値は、正の値に設定されている。
【００５１】
ここで、時間ｔ＝０時の各シーン状態のスコアが同一で、即ち、Ｓｗｈｏｌｅ＝Ｓｓｐｅａｋｅｒ＝Ｓｋｅｙ＝Ｓｓｉｎｇｌｅ＝Ｓ0であると仮定する。当業者は、各状態の初期スコアは、設計要求に応じて異なってもよいことが認識できる。また、ここでは全体シーン状態を初期シーン状態にしたが、設計要求に応じて他のシーン状態を初期シーン状態としてもよいことが認識できる。
【００５２】
異なるシーン状態間の切換条件は、イベントを検知し、かつ/またはシーン状態のリアルタイムスコアを計算及び比較し、条件を満たすと、それに応じた切換操作を開始（トリガー）するようにする。
【００５３】
シーン状態間の切換条件ａ、ｂ、ｃ、ｄ、ｅ、ｆ１、ｆ２、ｆ３、ｇ、及びｈは、図７Ａに示されたように、矢印は、それぞれの切換条件を満たす場合のシーン状態の切換方向を示し、図７Ｂの表における各条件は、最左列における該条件の位置に対応する行の状態から、最上行における該条件の位置に対応する列の状態への切換を表し、“−”は、その行の状態から、その列の状態への切換がないことを表している。
【００５４】
ａ：新たな話者を検知し、Ｓwhole（＝Ｓwhole+Ｖw*ｔ）を計算し、Ｓwhole＞Ｓ1を満たしているかを判断する。条件ａを満たしていると、開始される切換動作は、全体シーンから講演シーンに切り換え、かつＳｓｐｅａｋｅｒ＝Ｓｓｐｅａｋｅｒ+Ｓ２である。
【００５５】
ｂ：新たな話者を検知する。条件ｂに対応する切換動作は、講演シーンから講演シーンに切り換え、かつＳｓｐｅａｋｅｒ＝Ｓ０+Ｓ２である。話者が異なる場合があるため、切換条件ｂに対応するシーン切換は、シーン状態種別の角度からは、自身から自身への切換と見なすことができるが、講演シーンのシーン状態種別については、後述するが、関心領域の決定は、検知した話者によって変更可能であり、講演シーンのシーン状態は、検知した話者によって異なる関心領域に対応付けられている。関心領域の抽出については、後述する。
【００５６】
ｃ：Ｓｓｐｅａｋｅｒ（＝Ｓｓｐｅａｋｅｒ-Ｖｓ*ｔ）を計算し、Ｓｓｐｅａｋｅｒ＜Ｓｋｅｙを満たしているかを判断する。条件ｃに対応する切換動作は、講演シーンから重要人物シーンに切り換えることである。
【００５７】
ｄ：新たな話者を検知し、Ｓｋｅｙ（＝Ｓｋｅｙ+Ｖｋ*ｔ）を計算し、Ｓｋｅｙ＞Ｓ３を満たしているかを判断する。条件ｄに対応する切換動作は、重要人物シーンから講演シーンに切り換え、かつＳｓｐｅａｋｅｒ＝Ｓｓｐｅａｋｅｒ+Ｓ２である。
【００５８】
ｅ：Ｓｋｅｙ＝Ｓｋｅｙ+Ｖｋ*ｔ、かつＳｋｅｙ＞Ｓ３である。条件ｅに対応する切換動作は、全体シーンに切り換え、かつＳｗｈｏｌｅ＝Ｓｓｐｅａｋｅｒ＝Ｓｋｅｙ＝Ｓｓｉｎｇｌｅ＝Ｓ0である。
【００５９】
ｆ１：新メンバーの参加を検知し、Ｓwhole（＝Ｓwhole+Ｖw*ｔ）を計算し、Ｓwhole＞Ｓ1を満たしているかを判断する。切換条件ｆ１に対応する切換動作は、単一人物シーンに切り換え、Ｓｓｉｎｇｌｅ＝Ｓｓｉｎｇｌｅ+Ｓ4である。
【００６０】
ｆ２：Ｓｓｐｅａｋｅｒ（＝Ｓｓｐｅａｋｅｒ-Ｖｓ*ｔ）を計算し、Ｓｓｐｅａｋｅｒ＜Ｓｓｉｎｇｌｅを満たしているかを判断する。条件ｆ２に対応する切換動作は、単一人物シーンに切り換え、Ｓｓｉｎｇｌｅ＝Ｓｓｉｎｇｌｅ+Ｓ4である。
【００６１】
ｇ：Ｓｓｉｎｇｌｅ（＝Ｓｓｉｎｇｌｅ-Ｖｓ*ｔ）を計算し、Ｓｓｉｎｇｌｅ＜Ｓｋｅｙを満たしているかを判断する。条件ｇに対応する切換動作は、重要人物シーンに切り換えることである。
【００６２】
ｈ：新メンバーの参加を検知する。条件ｈに対応する切換動作は、単一人物シーンに切り換え、かつＳｓｉｎｇｌｅ＝Ｓ０+Ｓ２である。講演シーンと同様に、異なる話者に対応する場合があり、単一人物シーンに関しては、異なるメンバーが新たに加入する場合があるため、切換条件ｈに対応するシーン切換は、シーン状態種別の角度からは、自身から自身への切換と見なすことができるが、単一人物シーンのシーン状態種別については、後述するが、関心領域の決定は、検知した新メンバーによって変更可能であり、単一人物シーンのシーン状態は、検知した新メンバーによって異なる関心領域に対応付けられている。また、新メンバーの加入があるため、全体シーンに対応する関心領域も、あわせて新たに加入するメンバーを含むように調整される。関心領域の抽出については、後述する。
【００６３】
話者、新加入者、及び途中退席者の検知は、従来の音声、映像検知手段で実現することができる。
【００６４】
本発明における有限状態機械は、前記設計に限らず、前述の記載から、他の有限状態機械も本発明に適用することが可能であることを、当業者は想到することができる。例えば、前述のシーン状態のうち任意の一つは、除去可能である一方、各参加者を順番で表示するなどのシーン状態をさらに増加することができる。また、メンバー退席のイベントを検知してもよく、他の切換条件と切換動作を設定してもよい。
【００６５】
異なるシーン状態を設計して、異なる関心領域に対応することができる。あるシーン状態において、前述と同様の最大可能存在領域の決定手段や、他の画像切り取り方法により、関心領域を抽出し、表示すべきシーン映像とすることができる。例えば、全体シーン状態において、関心領域は、すべての参加者を含む矩形であり、講演シーン状態において、関心領域は、話者を含み、かつ該話者を中心とした一定範囲内の矩形であり、重要人物シーン状態において、関心領域は、重要人物を含み、かつ該重要人物を中心とした一定範囲内の矩形である。また、選択的に、通常の画像処理手段により、抽出した関心領域を拡大表示してもよい。
【００６６】
図８の（Ａ）、（Ｂ）及び（Ｃ）は、図５に示された最大可能存在領域に対して各シーン状態で抽出された各関心領域及びその拡大表示を示した図である。
【００６７】
図５に示された最大可能存在領域の例において、図８（Ａ）は、全体シーン状態で、関心領域を抽出して拡大表示したシーン映像を示し、メンバー２３の発言を検知すると、シーン状態を講演シーン状態に切り換えるとともに、メンバー２３を中心とした関心領域を抽出して拡大表示している（図８（Ｂ）に図示）。メンバー２１、２２が重要人物であり、関連条件を満たしていると、メンバー２１、２２を中心とした関心領域を抽出してもよく、図８（Ｃ）に示されたように、拡大表示することができる。前記関心領域の抽出及びシーン映像の表示は、単に例として図示されたもので、各種修正が可能なことはいうまでもない。
【００６８】
本発明の実施例の更なる改善として、選択的に、図１に示されたシーン映像切換システム１００は、前記状態切換装置１３０により切り換えられた現シーン状態に基づき、それに応じた関心領域における現場参加者の顔の解像度から、全体シーン映像の視覚品質を決定し、該視覚品質が所定の閾値未満であると、該シーン映像の視覚品質を高める表示強調装置１７０をさらに有してもよい。
【００６９】
例えば、表示したシーン映像において、撮像装置から離れた場所に位置する参加者がいる場合、該参加者の最大可能存在領域における面積が小さくなり、抽出及び拡大後に、ぼんやりしすぎる等の視覚品質が低いという問題が生じてしまう。閾値を予め定義し、表示した参加者の映像の視覚品質が該所定の閾値未満であると、伝送及び表示すべき映像フレームの質を向上することができる。
【００７０】
例えば、下記式（１）により、視覚品質を向上すべきか否かの判断を行うことができる。
【数１】
式中、
【数２】
は、現シーン画像である現映像フレームの解像度であり、
【数３】
は、現シーン画像を表し、
【数４】
は、ｉ（ｉは自然数）番目の参加者Ｐｉの顔の解像度であり、Ｔｈは、予め定義した閾値であり、該閾値Ｔｈは、シーン状態によって異なるように設定してもよい。
【００７１】
式（１）を満足すると、現映像フレームの視覚品質が低いと判断し、該シーン映像の視覚品質の向上を選択することができる。
【００７２】
視覚品質は、参加者顔の映像フレームにおける解像度の度合いにより算出してもよく、各参加者顔の映像フレームにおけるＰＳＮＲ値（ピーク信号対ノイズ比）を計算し、該ＰＳＮＲ値が所定の閾値未満であると、視覚品質が好ましくないと判断し、さらに視覚品質の向上を選択してもよい。
【００７３】
例えば、撮像装置から離れている参加者に対し、時間領域上のフレーム間情報により、高視覚品質を得ることができる。例えば、複数の隣り合うフレームの時間領域上の関連情報により、各フレームのコンテンツの細部を回復し、具体的に、超解像度方法を用いて、先ず、高品質の補間値を用いて処理すべき映像フレームを元の２倍に拡大し、その後、画素運動補償動作により、該現映像フレームの隣接フレームから、近似領域を検索し、画像情報を融合し、元映像フレームのサイズに還元することができる。なお、線形補間、最近接補間、双線形補間、三次補間などの方法で、映像フレームの視覚品質を向上してもよい。
【００７４】
本発明の他の実施例においては、さらに、前述のシーン映像切換システム１００で実施される関心領域の動的検知に基づいたシーン映像切換方法が提供される。このシーン映像切換方法は、前述の入力装置１１０で実行され、撮像装置１０からの現撮像画像を現フレーム画像として入力するステップと、前述の検知装置１２０で実行され、前記入力ステップで入力される現フレーム画像から、全ての関心要素と潜在要素を検知し、前記関心要素の最大可能存在領域を決定する検知ステップと、前述の状態切換装置１３０で実行され、予め定義される有限状態機械１６０により、予め定義されたそれぞれのシーン状態及び切換条件に基づいて、最大可能存在領域のシーン状態間の切換を行う状態切換ステップと、前述の表示装置１４０で実行され、状態切換ステップで切り換えられた現シーン状態に応じて、前記最大可能存在領域から、該現シーン状態を満たす関心領域をシーン映像として抽出して表示する表示ステップと、を有する。
【００７５】
また、前記関心要素は、現場の参加者であり、前記潜在要素は、所定の参加者の可能出現場所である。
【００７６】
また、前記検知ステップにおいて、混合ガウスモデルの動的背景モデル構築に基づいた前景対象検知により、前記現フレーム画像から前景画像を検知し、人物の顔と頭部検知により、該前景画像からの現場参加者の検知を行い、所定の特徴の検知により、前記現フレーム画像から前記所定の現場参加者の可能出現場所を検知している。
【００７７】
また、前記最大可能存在領域が、すべての関心要素と潜在要素を含む矩形であり、該矩形の左辺が、検知した最左側の関心要素と潜在要素の左縁であり、該矩形の上辺が、検知した最上側の関心要素と潜在要素の上縁であり、該矩形の右辺が、検知した最右側の関心要素と潜在要素の右縁であり、該矩形の下辺が、検知した最下側の関心要素と潜在要素の下縁である。
【００７８】
また、前記シーン映像切換方法は、撮像装置の調整ステップをさらに有し、前述の撮像装置の調整装置１５０で実行され、前記撮像装置１０の結像範囲の中心点が前記最大可能存在領域の中心点に移動するように、前記現フレーム画像と前記最大可能存在領域との位置関係から、前記撮像装置１０の水平方向及び垂直方向における必要な回転角度を計算している。
【００７９】
また、前記撮像装置の調整ステップにおいて、前記撮像装置１０の結像範囲内において、前記最大可能存在領域の幅と高さを調整している。
【００８０】
また、前記有限状態機械１６０は、シーン状態の集合、初期シーン状態、終了シーン状態の集合、シーン状態間の切換条件の集合を含むように予め定義されるようにした。ここで、各シーン状態は、初期スコア、スコアの経時変化の速度、固有値を有し、各切換条件は、それぞれの切換動作に関連付けられている。
【００８１】
前記状態切換ステップにおいて、所定のイベントの発生を検知し、シーン状態のリアルタイムスコアの計算及び比較を行うことで、シーン状態間の切換条件を満たしているかを判断し、シーン状態間の切換条件を満たしていると、シーン状態を切り換えるとともに、シーン状態のスコアを変更するようにした。
【００８２】
前記シーン映像切換方法は、さらに表示強調ステップを含むことができ、前記状態切換装置１７０により実行され、前記状態切換装置により切り換えられた現シーン状態に基づき、それに応じた関心領域における現場参加者の顔の解像度から、全体シーン映像の視覚品質を決定し、該視覚品質が所定の閾値未満であると、該シーン映像の視覚品質を高めている。
【００８３】
本発明の実施例は、例えば、テレビ会議システム、遠隔医療システム等の各種ビデオシステムに適用することができる。関心要素のみならず、潜在要素も考慮し、関心要素と潜在要素の検知により、撮像装置の映像収集範囲を決定し、関心要素の最大可能存在領域を取得している。有限状態機械のメカニズムを用いて動的に関心領域を検知し、抽出及び遠隔表示することで、遠隔ビデオシステムのユーザに最適映像をスムーズに提供することができる。選択的には、さらに超解像度と所定の視覚品質に基づいた表示強調技術を用いて、原ビデオ映像の質が劣化している場合にも、効率よくビデオ映像の視覚品質を向上することができる。
【００８４】
本明細書における一連の動作は、ハードウェアや、ソフトウェアや、ハードウェアとソフトウェアの組み合わせから実行することができる。ソフトウェアにより該一連の動作を実行時には、コンピュータプログラムを専用ハードウェアのコンピュータに内蔵されたメモリにインストールし、コンピュータにより該コンピュータプログラムを実行させてもよい。或いは、コンピュータプログラムを各種処理が実行可能な汎用コンピュータにインストールし、コンピュータにより該コンピュータプログラムを実行させてもよい。
【００８５】
例えば、コンピュータプログラムを記録媒体であるハードディスクやＲＯＭに予め保存するか、一時または永久的にコンピュータプログラムをフロッピや、ＣＤ−ＲＯＭや、ＭＯや、ＤＶＤや、磁気ディスクや、半導体メモリ等のような移動記録媒体に保存（記録）することができ、このような移動記録媒体をパッケージとして提供してもよい。
【００８６】
以上、本発明の好ましい実施形態を説明したが、本発明はこの実施形態に限定されず、本発明の趣旨を離脱しない限り、本発明に対するあらゆる変更は本発明の範囲に属する。
【特許請求の範囲】
【請求項１】
関心要素に基づくシーン状態の切換システムであって、
撮像装置で撮像した現撮像画像を現フレーム画像として入力する入力装置と、
前記入力装置から入力される前記現フレーム画像から関心要素の最大可能存在領域を決定する検知装置と、
予め定義されたそれぞれのシーン状態及び切換条件に基づいて、前記最大可能存在領域のシーン状態間の切換を行う状態切換装置と、
前記状態切換装置により切り換えられた現シーン状態に応じて、前記最大可能存在領域から、前記現シーン状態と一致する関心領域を表示する表示装置と、
を含むことを特徴とする切換システム。
【請求項２】
前記関心要素は現場参加者であり、
前記検知装置は所定の参加者の可能な出現場所を示す潜在要素を検知することを特徴とする請求項１に記載の切換システム。
【請求項３】
前記検知装置は、混合ガウスモデルの動的背景モデル構築に基づいた前景対象検知により、前記現フレーム画像から前景画像を検知し、人物の顔と頭部検知により、前記前景画像からの現場参加者の検知を行い、所定の特徴の検知により、前記現フレーム画像から前記所定の現場参加者の可能な出現場所を検知することを特徴とする請求項２に記載の切換システム。
【請求項４】
前記最大可能存在領域は、全ての関心要素と潜在要素を含む矩形であり、前記矩形の左辺は、検知した最左側の関心要素と潜在要素の左縁であり、前記矩形の上辺は、検知した最上側の関心要素と潜在要素の上縁であり、前記矩形の右辺は、検知した最右側の関心要素と潜在要素の右縁であり、前記矩形の下辺は、検知した最下側の関心要素と潜在要素の下縁であることを特徴とする請求項１に記載の切換システム。
【請求項５】
前記撮像装置の調整装置を更に有し、
前記調整装置は、前記撮像装置の結像範囲の中心点が前記最大可能存在領域の中心点に移動するように、前記現フレーム画像と前記最大可能存在領域との位置関係に基づいて、前記撮像装置の水平方向及び垂直方向における必要な回転角度を計算することを特徴とする請求項１に記載の切換システム。
【請求項６】
前記撮像装置の前記調整装置は、前記撮像装置の結像範囲内において、前記最大可能存在領域の幅と高さを調整することを特徴とする請求項５に記載の切換システム。
【請求項７】
シーン状態の集合、初期シーン状態、終了シーン状態の集合、シーン状態間の切換条件の集合を含むように前記それぞれのシーン状態及び切換条件を予め定義することを特徴とする請求項１に記載の切換システム。
【請求項８】
前記状態切換装置は、所定のイベントの発生を検知し、シーン状態のリアルタイムスコアの計算及び比較を行うことで、シーン状態間の切換条件を満たしているかを判断し、シーン状態間の切換条件を満たしていると、シーン状態を切り換えるとともに、シーン状態のスコアを変更することを特徴とする請求項７に記載の切換システム。
【請求項９】
前記状態切換装置により切り換えられた前記現シーン状態に一致する前記関心領域における前記現場参加者の顔の解像度に基づいて、前記シーン映像全体の視覚品質を決定し、前記視覚品質が所定の閾値未満であると、前記シーン映像の視覚品質を高める表示強調装置を更に有することを特徴とする請求項２に記載の切換システム。
【請求項１０】
関心要素に基づくシーン状態の切換方法であって、
撮像装置で撮像した現撮像画像を現フレーム画像として入力するステップと、
前記入力ステップで入力される前記現フレーム画像から関心要素の最大可能存在領域を決定する検知ステップと、
予め定義されたそれぞれのシーン状態及び切換条件に基づいて、最大可能存在領域のシーン状態間の切換を行う状態切換ステップと、
前記状態切換ステップで切り換えられた現シーン状態に応じて、前記最大可能存在領域から、前記現シーン状態と一致する関心領域を表示する表示ステップと、
を含むことを特徴とする切換方法。
【請求項１】
関心要素に基づくシーン状態の切換システムであって、
撮像装置で撮像した現撮像画像を現フレーム画像として入力する入力装置と、
前記入力装置から入力される前記現フレーム画像から関心要素の最大可能存在領域を決定する検知装置と、
予め定義されたそれぞれのシーン状態及び切換条件に基づいて、前記最大可能存在領域のシーン状態間の切換を行う状態切換装置と、
前記状態切換装置により切り換えられた現シーン状態に応じて、前記最大可能存在領域から、前記現シーン状態と一致する関心領域を表示する表示装置と、
を含むことを特徴とする切換システム。
【請求項２】
前記関心要素は現場参加者であり、
前記検知装置は所定の参加者の可能な出現場所を示す潜在要素を検知することを特徴とする請求項１に記載の切換システム。
【請求項３】
前記検知装置は、混合ガウスモデルの動的背景モデル構築に基づいた前景対象検知により、前記現フレーム画像から前景画像を検知し、人物の顔と頭部検知により、前記前景画像からの現場参加者の検知を行い、所定の特徴の検知により、前記現フレーム画像から前記所定の現場参加者の可能な出現場所を検知することを特徴とする請求項２に記載の切換システム。
【請求項４】
前記最大可能存在領域は、全ての関心要素と潜在要素を含む矩形であり、前記矩形の左辺は、検知した最左側の関心要素と潜在要素の左縁であり、前記矩形の上辺は、検知した最上側の関心要素と潜在要素の上縁であり、前記矩形の右辺は、検知した最右側の関心要素と潜在要素の右縁であり、前記矩形の下辺は、検知した最下側の関心要素と潜在要素の下縁であることを特徴とする請求項１に記載の切換システム。
【請求項５】
前記撮像装置の調整装置を更に有し、
前記調整装置は、前記撮像装置の結像範囲の中心点が前記最大可能存在領域の中心点に移動するように、前記現フレーム画像と前記最大可能存在領域との位置関係に基づいて、前記撮像装置の水平方向及び垂直方向における必要な回転角度を計算することを特徴とする請求項１に記載の切換システム。
【請求項６】
前記撮像装置の前記調整装置は、前記撮像装置の結像範囲内において、前記最大可能存在領域の幅と高さを調整することを特徴とする請求項５に記載の切換システム。
【請求項７】
シーン状態の集合、初期シーン状態、終了シーン状態の集合、シーン状態間の切換条件の集合を含むように前記それぞれのシーン状態及び切換条件を予め定義することを特徴とする請求項１に記載の切換システム。
【請求項８】
前記状態切換装置は、所定のイベントの発生を検知し、シーン状態のリアルタイムスコアの計算及び比較を行うことで、シーン状態間の切換条件を満たしているかを判断し、シーン状態間の切換条件を満たしていると、シーン状態を切り換えるとともに、シーン状態のスコアを変更することを特徴とする請求項７に記載の切換システム。
【請求項９】
前記状態切換装置により切り換えられた前記現シーン状態に一致する前記関心領域における前記現場参加者の顔の解像度に基づいて、前記シーン映像全体の視覚品質を決定し、前記視覚品質が所定の閾値未満であると、前記シーン映像の視覚品質を高める表示強調装置を更に有することを特徴とする請求項２に記載の切換システム。
【請求項１０】
関心要素に基づくシーン状態の切換方法であって、
撮像装置で撮像した現撮像画像を現フレーム画像として入力するステップと、
前記入力ステップで入力される前記現フレーム画像から関心要素の最大可能存在領域を決定する検知ステップと、
予め定義されたそれぞれのシーン状態及び切換条件に基づいて、最大可能存在領域のシーン状態間の切換を行う状態切換ステップと、
前記状態切換ステップで切り換えられた現シーン状態に応じて、前記最大可能存在領域から、前記現シーン状態と一致する関心領域を表示する表示ステップと、
を含むことを特徴とする切換方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６Ａ】
【図６Ｂ】
【図７Ａ】
【図７Ｂ】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６Ａ】
【図６Ｂ】
【図７Ａ】
【図７Ｂ】
【図８】
【公開番号】特開２０１２−１５１８４８（Ｐ２０１２−１５１８４８Ａ）
【公開日】平成２４年８月９日（２０１２．８．９）
【国際特許分類】
【出願番号】特願２０１２−８３１７（Ｐ２０１２−８３１７）
【出願日】平成２４年１月１８日（２０１２．１．１８）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
【公開日】平成２４年８月９日（２０１２．８．９）
【国際特許分類】
【出願日】平成２４年１月１８日（２０１２．１．１８）
【出願人】（０００００６７４７）株式会社リコー (37,907)
【Ｆターム（参考）】
[ Back to top ]