ＧＵＩ画面合成処理装置
【課題】映像の内容を示す重要な部分に重ならないようＧＵＩ画面を当該映像に重ねて表示するための処理を行うＧＵＩ画面合成処理装置を提供する。
【解決手段】ＧＵＩ画面合成処理装置は、映像を構成する複数のフレームにおいて、１フレームを構成する各画素の画像特徴量を検出する画像特徴量検出部と、画素特徴量に基づいて空き領域を抽出し、ＧＵＩ表示候補領域を空き領域から抽出する領域抽出部と、ＧＵＩ画面と形状及び大きさが等しいＧＵＩ対象をＧＵＩ表示候補領域に重ねたときの重なり程度に応じた重み付け点数を画素毎に割り当てる重み付け実行部と、複数のフレームにわたり同位置の画素の重み付け点数を画素毎に加算する重み付け点数加算部と、各画素の重み付け累計点数を合計した値に基づいて、ＧＵＩ画面を表示する位置を決定するＧＵＩ画面表示位置決定部と、映像にＧＵＩ画面を決定した表示位置で重ね合わせてディスプレイに表示するよう処理する表示処理部とを備える。
【解決手段】ＧＵＩ画面合成処理装置は、映像を構成する複数のフレームにおいて、１フレームを構成する各画素の画像特徴量を検出する画像特徴量検出部と、画素特徴量に基づいて空き領域を抽出し、ＧＵＩ表示候補領域を空き領域から抽出する領域抽出部と、ＧＵＩ画面と形状及び大きさが等しいＧＵＩ対象をＧＵＩ表示候補領域に重ねたときの重なり程度に応じた重み付け点数を画素毎に割り当てる重み付け実行部と、複数のフレームにわたり同位置の画素の重み付け点数を画素毎に加算する重み付け点数加算部と、各画素の重み付け累計点数を合計した値に基づいて、ＧＵＩ画面を表示する位置を決定するＧＵＩ画面表示位置決定部と、映像にＧＵＩ画面を決定した表示位置で重ね合わせてディスプレイに表示するよう処理する表示処理部とを備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、ディスプレイに表示する映像にＧＵＩ画面を重ねて表示するための処理を行うＧＵＩ画面合成処理装置に関する。
【背景技術】
【０００２】
映像機器のディスプレイに表示されている映像に、他の電子機器等におけるＧＵＩ（Graphical User Interface）画面を重ねて同ディスプレイに表示した上で、前記映像機器の入力インターフェイスを用いて前記他の電子機器を操作可能な機能が考えられている。図９は、映像機器のディスプレイに表示されている映像１１に他の電子機器におけるＧＵＩ画面１３を重ねて表示した一例を示す図である。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−２９６３９７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
映像を表示するディスプレイの表示領域におけるＧＵＩ画面の表示位置又はＧＵＩ画面の大きさが固定されていると、図９に示したように、映像１１の内容を示す重要な部分（例えば、人物の顔）にＧＵＩ画面１３が重なり得る。図９に示した状態のとき、視聴者は映像１１の内容を十分に理解することができない。
【０００５】
なお、映像１１が人物の顔を含む静止画の場合、特許文献１に開示の技術を適用又は応答することで、当該重要な部分にＧＵＩ画面１３が重ならない映像を表示できる。しかし、映像１１が動画の場合には当該技術を適用できない。
【０００６】
本発明の目的は、映像の内容を示す重要な部分に重ならないようＧＵＩ画面を当該映像に重ねて表示するための処理を行うＧＵＩ画面合成処理装置を提供することである。
【課題を解決するための手段】
【０００７】
本発明は、ディスプレイに表示する映像にＧＵＩ画面を重ねて表示するための処理を行うＧＵＩ画面合成処理装置であって、前記映像を構成する複数のフレームにおいて、１フレームを構成する各画素の画像特徴量を検出する画像特徴量検出部と、前記画像特徴量検出部が検出した画素特徴量に基づいて、１フレームの画像内の空き領域を抽出し、前記ＧＵＩ画面を表示する候補となるＧＵＩ表示候補領域を前記空き領域から抽出する領域抽出部と、前記ＧＵＩ画面と形状及び大きさが等しいＧＵＩ対象を前記ＧＵＩ表示候補領域に重ねたときの重なり程度に応じた重み付け点数を、前記ＧＵＩ表示候補領域を構成する画素毎に割り当てる重み付け実行部と、前記複数のフレームにわたり同位置の画素の重み付け点数を画素毎に加算する重み付け点数加算部と、前記ＧＵＩ対象の領域に含まれる各画素の重み付け累計点数を合計した重み付け累計点数合計値に基づいて、フレーム内での前記ＧＵＩ画面を表示する位置を決定するＧＵＩ画面表示位置決定部と、前記映像に前記ＧＵＩ画面を前記ＧＵＩ画面表示位置決定部が決定した表示位置で重ね合わせて前記ディスプレイに表示するよう処理する表示処理部と、を備えたＧＵＩ画面合成処理装置を提供する。
【発明の効果】
【０００８】
本発明に係るＧＵＩ画面合成処理装置によれば、映像の内容を示す重要な部分に重ならないようＧＵＩ画面を当該映像に重ねて表示するよう処理できる。したがって、ＧＵＩ画面が映像に重ねて表示されても、視聴者は当該映像の内容を理解できる。
【図面の簡単な説明】
【０００９】
【図１】一実施形態のＧＵＩ画面合成処理装置の内部構成及び周辺機器との関係を示すブロック図
【図２】映像の１フレームを構成する各画素の画像特徴量の一例を示す図
【図３】（ａ）〜（ｄ）は、領域抽出部１０５による処理経過の一例を示す図
【図４】（ａ）〜（ｄ）は、重み付け実行部１０７がＧＵＩ表示候補領域Ａ２に対して行う重み付けについて説明する図
【図５】１フレームの重み付け点数配列データの一例を示す図
【図６】各画素の重み付け累計点数をフレーム中の画素位置に応じて配列した重み付け累計点数配列データとＧＵＩ対象１４１との関係の一例を示す図
【図７】一実施形態のＧＵＩ画面合成処理装置１００がＧＵＩ画面１５３を映像１５１に重ねて表示した一例を示す図
【図８】シーンの変わり目でＧＵＩ表示位置を再決定する方法を示す図
【図９】映像機器のディスプレイに表示されている映像１１に他の電子機器におけるＧＵＩ画面１３を重ねて表示した一例を示す図
【発明を実施するための形態】
【００１０】
以下、本発明の実施形態について、図面を参照して説明する。なお、本実施形態で用いられるＧＵＩ画面とは、メニューやアイコン、ボタン等の要素を含むウインドウである。ユーザは、ポインティングデバイス等を操作してＧＵＩ画面内の要素を視覚的に選択することで、コマンド等を入力することなく所望の指示を行える。
【００１１】
図１は、一実施形態のＧＵＩ画面合成処理装置の内部構成及び周辺機器との関係を示すブロック図である。図１に示すＧＵＩ画面合成処理装置１００は、映像データ読込部１０１と、画像特徴量検出部１０３と、領域抽出部１０５と、重み付け実行部１０７と、重み付け点数配列データ加算部１０９と、ＧＵＩ画面表示位置決定部１１１と、表示処理部１１３とを備える。なお、表示処理部１１３にはディスプレイ１２１が接続されている。
【００１２】
以下、ＧＵＩ画面合成処理装置１００が備える各構成要素について説明する。
【００１３】
映像データ読込部１０１は、映像データが格納されたＤＶＤ等の記録媒体である映像データ記憶部１２３から映像データを読み込む。映像データ読込部１０１が読みこんだ映像データは、画像特徴量検出部１０３及び表示処理部１１３に送られる。
【００１４】
画像特徴量検出部１０３は、映像データ読込部１０１から得られた映像データによって示される映像の１フレーム（画像）を構成する各画素の画像特徴量を検出する。なお、画像特徴量とは、ＲＧＢ表色系やＹＣｂＣｒ表色系，Ｌ＊ａ＊ｂ＊表色系、ＸＹＺ表色系、ｘｙＹ表色系、Ｌ＊ｕ＊ｖ＊表色系、ＨＳＶ表色系等の色空間等を表すパラメータである。図２は、映像の１フレームを構成する各画素の画像特徴量の一例を示す図である。なお、図２に示した画像特徴量はＹＣｂＣｒ表色系の色空間を表すパラメータである。
【００１５】
領域抽出部１０５は、画像特徴量検出部１０３が検出した１フレームを構成する各画素の画像特徴量に基づいて、ＧＵＩ画面の表示に適当と考えられるフレーム内の領域を抽出する。図３（ａ）〜（ｄ）は、領域抽出部１０５による処理経過の一例を示す図である。特に、図３（ａ）は、映像データ記憶部１２３から得られた映像データに基づく任意の１フレームの画像を示す図である。以下、任意の１フレームの画像を「フレーム画像」という。また、図３（ｂ）は、領域抽出部１０５が抽出したフレーム画像で空き領域と認識された箇所をハッチングで示す図である。図３（ｃ）は、空き領域と認識された箇所を凸形状のセグメントに分化した図である。図３（ｄ）は、しきい値以上の面積を有するセグメントＡ１〜Ａ６のみを残した図である。
【００１６】
領域抽出部１０５は、図３（ｂ）にハッチングで示した空き領域を抽出するために、隣り合う画素の画像特徴量の差分を算出する。映像の内容との関連性が低い部分の画素間における画像特徴量の差分は小さいと考えられる。したがって、領域抽出部１０５は、算出した差分値がしきい値以下の隣接した画素をグループ化した領域を、視聴者が映像の内容を理解するために重要ではない空き領域として抽出する。
【００１７】
なお、領域抽出部１０５が空き領域を抽出する際、領域抽出部１０５は、数ピクセルのみの虫食い領域（missing area）等や、文字認識又は顔認識等の結果、領域抽出部１０５は、文字又は顔と認識されなかった領域を保管しても良い。すなわち、数ピクセルのみの虫食い領域のように数ピクセルだけ差分のある特徴量の画素が領域に紛れ込んでいても、ただの色むら等が原因と考えられるため、当該画素は空き領域に含めてしまっても良い。但し、虫食い領域を空き領域に含める場合、文字等を構成する細い線や顔の目等の重要な情報を誤って空き領域に含めてしまう可能性がある。このため、文字認識又は顔認識等で文字又は顔と認識された領域は別領域として扱う。
【００１８】
また、図示しないメモリに、青空に雲（青色の中に白色）等の背景に係る空き領域を抽出するためのデータベースを設けても良い。この場合、領域抽出部１０５は、画像特徴量の差分がしきい値以上の領域であってもデータベースに示された条件を満たせば、当該領域を空き領域として抽出しても良い。
【００１９】
次に、領域抽出部１０５は、図３（ｃ）に示すように、空き領域を凸形状のセグメントに分化する。最後に、領域抽出部１０５は、図３（ｄ）に示すように、しきい値以上の面積を有するセグメントＡ１〜Ａ６のみを、ＧＵＩ画面を表示する候補となる領域として残す。以下、これらの残ったセグメントを「ＧＵＩ表示候補領域」という。
【００２０】
重み付け実行部１０７は、領域抽出部１０５が抽出した各ＧＵＩ表示候補領域に対してＧＵＩ画面と形状及び大きさが等しい対象（以下「ＧＵＩ対象」という）を重ねたときの重なり程度に応じた点数（以下「重み付け点数」という）を、ＧＵＩ表示候補領域を構成する画素毎に割り当てる。重み付け実行部１０７が割り当てる画素毎の重み付け点数は、ＧＵＩ表示候補領域と重なるＧＵＩ対象の領域の割合によって異なる。本実施形態では、ＧＵＩ表示候補領域と重なるＧＵＩ対象の領域の割合が高いほど、重み付け点数は高い。例えば、重なり程度が１００％のときの重み付け点数は１．００であり、８５％のときは０．８５であり、６０％のときは０．６０である。
【００２１】
図４（ａ）〜（ｄ）は、重み付け実行部１０７がＧＵＩ表示候補領域Ａ２に対して行う重み付けについて説明する図である。図４（ａ）はＧＵＩ表示候補領域Ａ２とＧＵＩ対象１３１が１００％重なった状態を示す図であり、図４（ｂ）はＧＵＩ表示候補領域Ａ２とＧＵＩ対象１３１が８５％重なった状態を示す図であり、図４（ｃ）はＧＵＩ表示候補領域Ａ２とＧＵＩ対象１３１が６０％重なった状態を示す図である。また、図４（ｄ）は、ＧＵＩ表示候補領域Ａ２を構成する画素毎に最終的に割り当てられる重み付け点数を示す図である。
【００２２】
図４（ａ）〜（ｃ）に示すように、重み付け実行部１０７は、ＧＵＩ表示候補領域Ａ２にＧＵＩ対象１３１を重ねた状態で当該ＧＵＩ対象１３１をずらしていき、各位置関係のときの重み付け点数を重なり領域の画素に対して仮に割り当てる。ＧＵＩ対象１３１をずらしていくことによって、同じ画素であっても異なる重み付け点数が割り当てられる場合がある。この場合、重み付け実行部１０７は、図４（ｄ）に示すように、最も高い重み付け点数を、最終的に割り当てる重み付け点数として残す。
【００２３】
なお、重み付け実行部１０７は、各ＧＵＩ表示候補領域に対して上記処理を行うが、フレーム内のＧＵＩ表示候補領域以外の領域の画素には重み付け点数を０に設定する。重み付け実行部１０７は、１フレームを構成する画素の配列に合わせて各画素の重み付け点数を配列したデータ（重み付け点数配列データ）を作成する。図５は、１フレームの重み付け点数配列データの一例を示す図である。
【００２４】
また、重み付け実行部１０７は、各画素に重み付け点数を割り当てる際に、各ＧＵＩ表示候補領域の面積、横方向の長さ、縦方向の長さ等のパラメータをＧＵＩ対象１３１と比較した結果に応じた重み付け点数を割り当てても良い。
【００２５】
また、図示しないメモリに、背景の色として使われやすい色のデータベースを設けても良い。例えば、青色を空や海の色として、白色を壁の色として、茶色を土の色として、黒色は夜景の背景としてデータベースに登録しておく。この場合、重み付け実行部１０７は、画素の色に応じて割り増した重み付け点数を割り当てる。
【００２６】
重み付け点数配列データ加算部１０９は、重み付け実行部１０７が作成した重み付け点数配列データに基づいて、ディスプレイ１２１には未表示の数百〜数千フレームにわたり同位置の画素の重み付け点数を画素毎に加算する。当該重み付け点数の加算を行うことによって、重み付け点数配列データ加算部１０９は、１フレームを構成する画素の配列に合わせて画素毎の重み付け累計点数が配列された重み付け累計点数配列データを作成する。
【００２７】
ＧＵＩ画面表示位置決定部１１１は、図６に示すように、ＧＵＩ対象１４１の領域に含まれる各画素の重み付け累計点数を合計した値（以下「重み付け累計点数合計値」という）に基づいて、フレーム内でのＧＵＩ画面を表示する位置（以下「ＧＵＩ表示位置」という）を決定する。図６は、各画素の重み付け累計点数をフレーム中の画素位置に応じて配列した重み付け累計点数配列データとＧＵＩ対象１４１との関係の一例を示す図である。ＧＵＩ画面表示位置決定部１１１は、ＧＵＩ対象１４１の領域の重み付け累計点数合計値が最大となる位置をＧＵＩ画面の表示位置に決定する。なお、図６に示したＧＵＩ対象１４１と図４（ａ）〜（ｃ）に示したＧＵＩ対象１３１は同じものである。以下、ＧＵＩ画面表示位置決定部１１１が決定したフレーム中におけるＧＵＩ画面の表示位置を「ＧＵＩ表示位置」という。
【００２８】
表示処理部１１３は、映像データ読込部１０１から得られた映像データの映像にＧＵＩ画面をＧＵＩ表示位置で重ね合わせるデータ処理を行う。さらに、表示処理部１１３は、当該データ処理によって得られた合成映像をディスプレイ１２１に表示するよう処理する。
【００２９】
以上説明したように、本実施形態のＧＵＩ画面合成処理装置１００は、ディスプレイ１２１に表示されている映像中の視聴者が当該映像の内容を理解するためには重要ではない空き領域にＧＵＩ画面を表示するよう処理する。例えば、図７に示す映像１５１では、２人の人物に重ならないようＧＵＩ画面１５３が表示される。このようなＧＵＩ画面の配置であれば、視聴者は映像の内容を理解できる。
【００３０】
なお、ＧＵＩ画面表示位置決定部１１１によるＧＵＩ表示位置の決定にはヒステリシス性を設けても良い。すなわち、ＧＵＩ画面表示位置決定部１１１は、重み付け累計点数合計値が最大であったＧＵＩ表示位置における重み付け累計点数合計値が低下して、他の位置の重み付け累計点数合計値が最大値となっても、ＧＵＩ画面１５３の表示位置を変更するまでの待ち時間を設定する。また、ＧＵＩ画面表示位置決定部１１１は、ＧＵＩ画面１５３を実際に表示している位置での重み付け累計点数合計値を割り増して、ＧＵＩ画面１５３の表示位置が変更されにくくする。
【００３１】
また、重み付け点数配列データ加算部１０９が、未表示の数百〜数千フレームにわたり同位置の画素の重み付け点数を画素毎に加算する際、ＧＵＩ画面合成処理装置１００は、チャプター構成やシーンチェンジ検出などにより映像の切れ目を判別し、シーン毎に異なる重み付け点数の加算を行っても良い。この場合、ＧＵＩ画面表示位置決定部１１１は、シーンの変わり目でＧＵＩ表示位置を再決定する。例えば、図８に示すように、ＧＵＩ画面表示位置決定部１１１は、シーン１を再生している間は重み付け加算配列１でＧＵＩ表示位置を決定し、シーン２を再生している間は重み付け加算配列２でＧＵＩ表示位置を決定し、シーン３を再生している間は重み付け加算配列３でＧＵＩ表示位置を決定する。なお、シーンの長さに閾値を設け、閾値以下の長さのシーンでは各画素に重み付け点数を割り当てないことで、短いシーンでＧＵＩ表示位置が移動してしまうことを防止することもできる。例えば、シーン２が短いシーンだった場合に、重み付け点数配列データ加算部１０９が加算配列を参照しなければ、シーン１でのＧＵＩ表示位置を維持できる。
【００３２】
また、ＧＵＩ画面表示位置決定部１１１は、ＧＵＩ画面１５３のユーザ操作を検出して所定時間の間はＧＵＩ表示位置の決定動作を行わなくても良い。このとき、ＧＵＩ画面１５３の位置は、ユーザによるＧＵＩ画面１５３の操作が行われると所定時間の間は変更されない。
【産業上の利用可能性】
【００３３】
本発明に係るＧＵＩ画面合成処理装置は、ＧＵＩ画面を映像に重ねて表示するための処理を行う映像処理装置等として有用である。
【符号の説明】
【００３４】
１００ ＧＵＩ画面合成処理装置
１０１ 映像データ読込部
１０３ 画像特徴量検出部
１０５ 領域抽出部
１０７ 重み付け実行部
１０９ 重み付け点数配列データ加算部
１１１ ＧＵＩ画面表示位置決定部
１１３ 表示処理部
１２１ ディスプレイ
１２３ 映像データ記憶部
【技術分野】
【０００１】
本発明は、ディスプレイに表示する映像にＧＵＩ画面を重ねて表示するための処理を行うＧＵＩ画面合成処理装置に関する。
【背景技術】
【０００２】
映像機器のディスプレイに表示されている映像に、他の電子機器等におけるＧＵＩ（Graphical User Interface）画面を重ねて同ディスプレイに表示した上で、前記映像機器の入力インターフェイスを用いて前記他の電子機器を操作可能な機能が考えられている。図９は、映像機器のディスプレイに表示されている映像１１に他の電子機器におけるＧＵＩ画面１３を重ねて表示した一例を示す図である。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００９−２９６３９７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
映像を表示するディスプレイの表示領域におけるＧＵＩ画面の表示位置又はＧＵＩ画面の大きさが固定されていると、図９に示したように、映像１１の内容を示す重要な部分（例えば、人物の顔）にＧＵＩ画面１３が重なり得る。図９に示した状態のとき、視聴者は映像１１の内容を十分に理解することができない。
【０００５】
なお、映像１１が人物の顔を含む静止画の場合、特許文献１に開示の技術を適用又は応答することで、当該重要な部分にＧＵＩ画面１３が重ならない映像を表示できる。しかし、映像１１が動画の場合には当該技術を適用できない。
【０００６】
本発明の目的は、映像の内容を示す重要な部分に重ならないようＧＵＩ画面を当該映像に重ねて表示するための処理を行うＧＵＩ画面合成処理装置を提供することである。
【課題を解決するための手段】
【０００７】
本発明は、ディスプレイに表示する映像にＧＵＩ画面を重ねて表示するための処理を行うＧＵＩ画面合成処理装置であって、前記映像を構成する複数のフレームにおいて、１フレームを構成する各画素の画像特徴量を検出する画像特徴量検出部と、前記画像特徴量検出部が検出した画素特徴量に基づいて、１フレームの画像内の空き領域を抽出し、前記ＧＵＩ画面を表示する候補となるＧＵＩ表示候補領域を前記空き領域から抽出する領域抽出部と、前記ＧＵＩ画面と形状及び大きさが等しいＧＵＩ対象を前記ＧＵＩ表示候補領域に重ねたときの重なり程度に応じた重み付け点数を、前記ＧＵＩ表示候補領域を構成する画素毎に割り当てる重み付け実行部と、前記複数のフレームにわたり同位置の画素の重み付け点数を画素毎に加算する重み付け点数加算部と、前記ＧＵＩ対象の領域に含まれる各画素の重み付け累計点数を合計した重み付け累計点数合計値に基づいて、フレーム内での前記ＧＵＩ画面を表示する位置を決定するＧＵＩ画面表示位置決定部と、前記映像に前記ＧＵＩ画面を前記ＧＵＩ画面表示位置決定部が決定した表示位置で重ね合わせて前記ディスプレイに表示するよう処理する表示処理部と、を備えたＧＵＩ画面合成処理装置を提供する。
【発明の効果】
【０００８】
本発明に係るＧＵＩ画面合成処理装置によれば、映像の内容を示す重要な部分に重ならないようＧＵＩ画面を当該映像に重ねて表示するよう処理できる。したがって、ＧＵＩ画面が映像に重ねて表示されても、視聴者は当該映像の内容を理解できる。
【図面の簡単な説明】
【０００９】
【図１】一実施形態のＧＵＩ画面合成処理装置の内部構成及び周辺機器との関係を示すブロック図
【図２】映像の１フレームを構成する各画素の画像特徴量の一例を示す図
【図３】（ａ）〜（ｄ）は、領域抽出部１０５による処理経過の一例を示す図
【図４】（ａ）〜（ｄ）は、重み付け実行部１０７がＧＵＩ表示候補領域Ａ２に対して行う重み付けについて説明する図
【図５】１フレームの重み付け点数配列データの一例を示す図
【図６】各画素の重み付け累計点数をフレーム中の画素位置に応じて配列した重み付け累計点数配列データとＧＵＩ対象１４１との関係の一例を示す図
【図７】一実施形態のＧＵＩ画面合成処理装置１００がＧＵＩ画面１５３を映像１５１に重ねて表示した一例を示す図
【図８】シーンの変わり目でＧＵＩ表示位置を再決定する方法を示す図
【図９】映像機器のディスプレイに表示されている映像１１に他の電子機器におけるＧＵＩ画面１３を重ねて表示した一例を示す図
【発明を実施するための形態】
【００１０】
以下、本発明の実施形態について、図面を参照して説明する。なお、本実施形態で用いられるＧＵＩ画面とは、メニューやアイコン、ボタン等の要素を含むウインドウである。ユーザは、ポインティングデバイス等を操作してＧＵＩ画面内の要素を視覚的に選択することで、コマンド等を入力することなく所望の指示を行える。
【００１１】
図１は、一実施形態のＧＵＩ画面合成処理装置の内部構成及び周辺機器との関係を示すブロック図である。図１に示すＧＵＩ画面合成処理装置１００は、映像データ読込部１０１と、画像特徴量検出部１０３と、領域抽出部１０５と、重み付け実行部１０７と、重み付け点数配列データ加算部１０９と、ＧＵＩ画面表示位置決定部１１１と、表示処理部１１３とを備える。なお、表示処理部１１３にはディスプレイ１２１が接続されている。
【００１２】
以下、ＧＵＩ画面合成処理装置１００が備える各構成要素について説明する。
【００１３】
映像データ読込部１０１は、映像データが格納されたＤＶＤ等の記録媒体である映像データ記憶部１２３から映像データを読み込む。映像データ読込部１０１が読みこんだ映像データは、画像特徴量検出部１０３及び表示処理部１１３に送られる。
【００１４】
画像特徴量検出部１０３は、映像データ読込部１０１から得られた映像データによって示される映像の１フレーム（画像）を構成する各画素の画像特徴量を検出する。なお、画像特徴量とは、ＲＧＢ表色系やＹＣｂＣｒ表色系，Ｌ＊ａ＊ｂ＊表色系、ＸＹＺ表色系、ｘｙＹ表色系、Ｌ＊ｕ＊ｖ＊表色系、ＨＳＶ表色系等の色空間等を表すパラメータである。図２は、映像の１フレームを構成する各画素の画像特徴量の一例を示す図である。なお、図２に示した画像特徴量はＹＣｂＣｒ表色系の色空間を表すパラメータである。
【００１５】
領域抽出部１０５は、画像特徴量検出部１０３が検出した１フレームを構成する各画素の画像特徴量に基づいて、ＧＵＩ画面の表示に適当と考えられるフレーム内の領域を抽出する。図３（ａ）〜（ｄ）は、領域抽出部１０５による処理経過の一例を示す図である。特に、図３（ａ）は、映像データ記憶部１２３から得られた映像データに基づく任意の１フレームの画像を示す図である。以下、任意の１フレームの画像を「フレーム画像」という。また、図３（ｂ）は、領域抽出部１０５が抽出したフレーム画像で空き領域と認識された箇所をハッチングで示す図である。図３（ｃ）は、空き領域と認識された箇所を凸形状のセグメントに分化した図である。図３（ｄ）は、しきい値以上の面積を有するセグメントＡ１〜Ａ６のみを残した図である。
【００１６】
領域抽出部１０５は、図３（ｂ）にハッチングで示した空き領域を抽出するために、隣り合う画素の画像特徴量の差分を算出する。映像の内容との関連性が低い部分の画素間における画像特徴量の差分は小さいと考えられる。したがって、領域抽出部１０５は、算出した差分値がしきい値以下の隣接した画素をグループ化した領域を、視聴者が映像の内容を理解するために重要ではない空き領域として抽出する。
【００１７】
なお、領域抽出部１０５が空き領域を抽出する際、領域抽出部１０５は、数ピクセルのみの虫食い領域（missing area）等や、文字認識又は顔認識等の結果、領域抽出部１０５は、文字又は顔と認識されなかった領域を保管しても良い。すなわち、数ピクセルのみの虫食い領域のように数ピクセルだけ差分のある特徴量の画素が領域に紛れ込んでいても、ただの色むら等が原因と考えられるため、当該画素は空き領域に含めてしまっても良い。但し、虫食い領域を空き領域に含める場合、文字等を構成する細い線や顔の目等の重要な情報を誤って空き領域に含めてしまう可能性がある。このため、文字認識又は顔認識等で文字又は顔と認識された領域は別領域として扱う。
【００１８】
また、図示しないメモリに、青空に雲（青色の中に白色）等の背景に係る空き領域を抽出するためのデータベースを設けても良い。この場合、領域抽出部１０５は、画像特徴量の差分がしきい値以上の領域であってもデータベースに示された条件を満たせば、当該領域を空き領域として抽出しても良い。
【００１９】
次に、領域抽出部１０５は、図３（ｃ）に示すように、空き領域を凸形状のセグメントに分化する。最後に、領域抽出部１０５は、図３（ｄ）に示すように、しきい値以上の面積を有するセグメントＡ１〜Ａ６のみを、ＧＵＩ画面を表示する候補となる領域として残す。以下、これらの残ったセグメントを「ＧＵＩ表示候補領域」という。
【００２０】
重み付け実行部１０７は、領域抽出部１０５が抽出した各ＧＵＩ表示候補領域に対してＧＵＩ画面と形状及び大きさが等しい対象（以下「ＧＵＩ対象」という）を重ねたときの重なり程度に応じた点数（以下「重み付け点数」という）を、ＧＵＩ表示候補領域を構成する画素毎に割り当てる。重み付け実行部１０７が割り当てる画素毎の重み付け点数は、ＧＵＩ表示候補領域と重なるＧＵＩ対象の領域の割合によって異なる。本実施形態では、ＧＵＩ表示候補領域と重なるＧＵＩ対象の領域の割合が高いほど、重み付け点数は高い。例えば、重なり程度が１００％のときの重み付け点数は１．００であり、８５％のときは０．８５であり、６０％のときは０．６０である。
【００２１】
図４（ａ）〜（ｄ）は、重み付け実行部１０７がＧＵＩ表示候補領域Ａ２に対して行う重み付けについて説明する図である。図４（ａ）はＧＵＩ表示候補領域Ａ２とＧＵＩ対象１３１が１００％重なった状態を示す図であり、図４（ｂ）はＧＵＩ表示候補領域Ａ２とＧＵＩ対象１３１が８５％重なった状態を示す図であり、図４（ｃ）はＧＵＩ表示候補領域Ａ２とＧＵＩ対象１３１が６０％重なった状態を示す図である。また、図４（ｄ）は、ＧＵＩ表示候補領域Ａ２を構成する画素毎に最終的に割り当てられる重み付け点数を示す図である。
【００２２】
図４（ａ）〜（ｃ）に示すように、重み付け実行部１０７は、ＧＵＩ表示候補領域Ａ２にＧＵＩ対象１３１を重ねた状態で当該ＧＵＩ対象１３１をずらしていき、各位置関係のときの重み付け点数を重なり領域の画素に対して仮に割り当てる。ＧＵＩ対象１３１をずらしていくことによって、同じ画素であっても異なる重み付け点数が割り当てられる場合がある。この場合、重み付け実行部１０７は、図４（ｄ）に示すように、最も高い重み付け点数を、最終的に割り当てる重み付け点数として残す。
【００２３】
なお、重み付け実行部１０７は、各ＧＵＩ表示候補領域に対して上記処理を行うが、フレーム内のＧＵＩ表示候補領域以外の領域の画素には重み付け点数を０に設定する。重み付け実行部１０７は、１フレームを構成する画素の配列に合わせて各画素の重み付け点数を配列したデータ（重み付け点数配列データ）を作成する。図５は、１フレームの重み付け点数配列データの一例を示す図である。
【００２４】
また、重み付け実行部１０７は、各画素に重み付け点数を割り当てる際に、各ＧＵＩ表示候補領域の面積、横方向の長さ、縦方向の長さ等のパラメータをＧＵＩ対象１３１と比較した結果に応じた重み付け点数を割り当てても良い。
【００２５】
また、図示しないメモリに、背景の色として使われやすい色のデータベースを設けても良い。例えば、青色を空や海の色として、白色を壁の色として、茶色を土の色として、黒色は夜景の背景としてデータベースに登録しておく。この場合、重み付け実行部１０７は、画素の色に応じて割り増した重み付け点数を割り当てる。
【００２６】
重み付け点数配列データ加算部１０９は、重み付け実行部１０７が作成した重み付け点数配列データに基づいて、ディスプレイ１２１には未表示の数百〜数千フレームにわたり同位置の画素の重み付け点数を画素毎に加算する。当該重み付け点数の加算を行うことによって、重み付け点数配列データ加算部１０９は、１フレームを構成する画素の配列に合わせて画素毎の重み付け累計点数が配列された重み付け累計点数配列データを作成する。
【００２７】
ＧＵＩ画面表示位置決定部１１１は、図６に示すように、ＧＵＩ対象１４１の領域に含まれる各画素の重み付け累計点数を合計した値（以下「重み付け累計点数合計値」という）に基づいて、フレーム内でのＧＵＩ画面を表示する位置（以下「ＧＵＩ表示位置」という）を決定する。図６は、各画素の重み付け累計点数をフレーム中の画素位置に応じて配列した重み付け累計点数配列データとＧＵＩ対象１４１との関係の一例を示す図である。ＧＵＩ画面表示位置決定部１１１は、ＧＵＩ対象１４１の領域の重み付け累計点数合計値が最大となる位置をＧＵＩ画面の表示位置に決定する。なお、図６に示したＧＵＩ対象１４１と図４（ａ）〜（ｃ）に示したＧＵＩ対象１３１は同じものである。以下、ＧＵＩ画面表示位置決定部１１１が決定したフレーム中におけるＧＵＩ画面の表示位置を「ＧＵＩ表示位置」という。
【００２８】
表示処理部１１３は、映像データ読込部１０１から得られた映像データの映像にＧＵＩ画面をＧＵＩ表示位置で重ね合わせるデータ処理を行う。さらに、表示処理部１１３は、当該データ処理によって得られた合成映像をディスプレイ１２１に表示するよう処理する。
【００２９】
以上説明したように、本実施形態のＧＵＩ画面合成処理装置１００は、ディスプレイ１２１に表示されている映像中の視聴者が当該映像の内容を理解するためには重要ではない空き領域にＧＵＩ画面を表示するよう処理する。例えば、図７に示す映像１５１では、２人の人物に重ならないようＧＵＩ画面１５３が表示される。このようなＧＵＩ画面の配置であれば、視聴者は映像の内容を理解できる。
【００３０】
なお、ＧＵＩ画面表示位置決定部１１１によるＧＵＩ表示位置の決定にはヒステリシス性を設けても良い。すなわち、ＧＵＩ画面表示位置決定部１１１は、重み付け累計点数合計値が最大であったＧＵＩ表示位置における重み付け累計点数合計値が低下して、他の位置の重み付け累計点数合計値が最大値となっても、ＧＵＩ画面１５３の表示位置を変更するまでの待ち時間を設定する。また、ＧＵＩ画面表示位置決定部１１１は、ＧＵＩ画面１５３を実際に表示している位置での重み付け累計点数合計値を割り増して、ＧＵＩ画面１５３の表示位置が変更されにくくする。
【００３１】
また、重み付け点数配列データ加算部１０９が、未表示の数百〜数千フレームにわたり同位置の画素の重み付け点数を画素毎に加算する際、ＧＵＩ画面合成処理装置１００は、チャプター構成やシーンチェンジ検出などにより映像の切れ目を判別し、シーン毎に異なる重み付け点数の加算を行っても良い。この場合、ＧＵＩ画面表示位置決定部１１１は、シーンの変わり目でＧＵＩ表示位置を再決定する。例えば、図８に示すように、ＧＵＩ画面表示位置決定部１１１は、シーン１を再生している間は重み付け加算配列１でＧＵＩ表示位置を決定し、シーン２を再生している間は重み付け加算配列２でＧＵＩ表示位置を決定し、シーン３を再生している間は重み付け加算配列３でＧＵＩ表示位置を決定する。なお、シーンの長さに閾値を設け、閾値以下の長さのシーンでは各画素に重み付け点数を割り当てないことで、短いシーンでＧＵＩ表示位置が移動してしまうことを防止することもできる。例えば、シーン２が短いシーンだった場合に、重み付け点数配列データ加算部１０９が加算配列を参照しなければ、シーン１でのＧＵＩ表示位置を維持できる。
【００３２】
また、ＧＵＩ画面表示位置決定部１１１は、ＧＵＩ画面１５３のユーザ操作を検出して所定時間の間はＧＵＩ表示位置の決定動作を行わなくても良い。このとき、ＧＵＩ画面１５３の位置は、ユーザによるＧＵＩ画面１５３の操作が行われると所定時間の間は変更されない。
【産業上の利用可能性】
【００３３】
本発明に係るＧＵＩ画面合成処理装置は、ＧＵＩ画面を映像に重ねて表示するための処理を行う映像処理装置等として有用である。
【符号の説明】
【００３４】
１００ ＧＵＩ画面合成処理装置
１０１ 映像データ読込部
１０３ 画像特徴量検出部
１０５ 領域抽出部
１０７ 重み付け実行部
１０９ 重み付け点数配列データ加算部
１１１ ＧＵＩ画面表示位置決定部
１１３ 表示処理部
１２１ ディスプレイ
１２３ 映像データ記憶部
【特許請求の範囲】
【請求項１】
ディスプレイに表示する映像にＧＵＩ画面を重ねて表示するための処理を行うＧＵＩ画面合成処理装置であって、
前記映像を構成する複数のフレームにおいて、１フレームを構成する各画素の画像特徴量を検出する画像特徴量検出部と、
前記画像特徴量検出部が検出した画素特徴量に基づいて、１フレームの画像内の空き領域を抽出し、前記ＧＵＩ画面を表示する候補となるＧＵＩ表示候補領域を前記空き領域から抽出する領域抽出部と、
前記ＧＵＩ画面と形状及び大きさが等しいＧＵＩ対象を前記ＧＵＩ表示候補領域に重ねたときの重なり程度に応じた重み付け点数を、前記ＧＵＩ表示候補領域を構成する画素毎に割り当てる重み付け実行部と、
前記複数のフレームにわたり同位置の画素の重み付け点数を画素毎に加算する重み付け点数加算部と、
前記ＧＵＩ対象の領域に含まれる各画素の重み付け累計点数を合計した重み付け累計点数合計値に基づいて、フレーム内での前記ＧＵＩ画面を表示する位置を決定するＧＵＩ画面表示位置決定部と、
前記映像に前記ＧＵＩ画面を前記ＧＵＩ画面表示位置決定部が決定した表示位置で重ね合わせて前記ディスプレイに表示するよう処理する表示処理部と、
を備えたことを特徴とするＧＵＩ画面合成処理装置。
【請求項２】
請求項１に記載のＧＵＩ画面合成処理装置であって、
前記領域抽出部は、前記空き領域を凸形状のセグメントに分化し、所定値以上の面積を有するセグメントを前記ＧＵＩ表示候補領域として抽出することを特徴とするＧＵＩ画面合成処理装置。
【請求項３】
請求項１又は２に記載のＧＵＩ画面合成処理装置であって、
前記重み付け実行部は、前記ＧＵＩ表示候補領域に前記ＧＵＩ対象を重ねた状態で当該ＧＵＩ対象をずらしていき、各位置関係のときの重み付け点数の内、最も高い重み付け点数を割り当てることを特徴とするＧＵＩ画面合成処理装置。
【請求項４】
請求項１〜３のいずれか一項に記載のＧＵＩ画面合成処理装置であって、
前記ＧＵＩ画面表示位置決定部は、前記重み付け累計点数合計値が最大となる位置を前記ＧＵＩ画面の表示位置に決定することを特徴とするＧＵＩ画面合成処理装置。
【請求項１】
ディスプレイに表示する映像にＧＵＩ画面を重ねて表示するための処理を行うＧＵＩ画面合成処理装置であって、
前記映像を構成する複数のフレームにおいて、１フレームを構成する各画素の画像特徴量を検出する画像特徴量検出部と、
前記画像特徴量検出部が検出した画素特徴量に基づいて、１フレームの画像内の空き領域を抽出し、前記ＧＵＩ画面を表示する候補となるＧＵＩ表示候補領域を前記空き領域から抽出する領域抽出部と、
前記ＧＵＩ画面と形状及び大きさが等しいＧＵＩ対象を前記ＧＵＩ表示候補領域に重ねたときの重なり程度に応じた重み付け点数を、前記ＧＵＩ表示候補領域を構成する画素毎に割り当てる重み付け実行部と、
前記複数のフレームにわたり同位置の画素の重み付け点数を画素毎に加算する重み付け点数加算部と、
前記ＧＵＩ対象の領域に含まれる各画素の重み付け累計点数を合計した重み付け累計点数合計値に基づいて、フレーム内での前記ＧＵＩ画面を表示する位置を決定するＧＵＩ画面表示位置決定部と、
前記映像に前記ＧＵＩ画面を前記ＧＵＩ画面表示位置決定部が決定した表示位置で重ね合わせて前記ディスプレイに表示するよう処理する表示処理部と、
を備えたことを特徴とするＧＵＩ画面合成処理装置。
【請求項２】
請求項１に記載のＧＵＩ画面合成処理装置であって、
前記領域抽出部は、前記空き領域を凸形状のセグメントに分化し、所定値以上の面積を有するセグメントを前記ＧＵＩ表示候補領域として抽出することを特徴とするＧＵＩ画面合成処理装置。
【請求項３】
請求項１又は２に記載のＧＵＩ画面合成処理装置であって、
前記重み付け実行部は、前記ＧＵＩ表示候補領域に前記ＧＵＩ対象を重ねた状態で当該ＧＵＩ対象をずらしていき、各位置関係のときの重み付け点数の内、最も高い重み付け点数を割り当てることを特徴とするＧＵＩ画面合成処理装置。
【請求項４】
請求項１〜３のいずれか一項に記載のＧＵＩ画面合成処理装置であって、
前記ＧＵＩ画面表示位置決定部は、前記重み付け累計点数合計値が最大となる位置を前記ＧＵＩ画面の表示位置に決定することを特徴とするＧＵＩ画面合成処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２０１２−１７４２３４（Ｐ２０１２−１７４２３４Ａ）
【公開日】平成２４年９月１０日（２０１２．９．１０）
【国際特許分類】
【出願番号】特願２０１１−３９０２１（Ｐ２０１１−３９０２１）
【出願日】平成２３年２月２４日（２０１１．２．２４）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
【公開日】平成２４年９月１０日（２０１２．９．１０）
【国際特許分類】
【出願日】平成２３年２月２４日（２０１１．２．２４）
【出願人】（０００００５８２１）パナソニック株式会社 (73,050)
【Ｆターム（参考）】
[ Back to top ]