コンテキスト適応型ユーザインターフェイスシステム
【課題】グラフィック要素を含む画像データを提示するための方法及び装置を提供する。
【解決手段】装置の表示バッファから画像データを取得するステップと、画像データを分析して、画像データの能動領域及び受動領域を識別するステップと、受動領域にランク付けを行って、各受動領域の信頼基準を決定するステップと、装置上に表示する画像データを、ランク付けに基づいて受動領域内に提示されるグラフィック要素を含むように修正するステップとにより、表示するグラフィック要素を提示する。
【解決手段】装置の表示バッファから画像データを取得するステップと、画像データを分析して、画像データの能動領域及び受動領域を識別するステップと、受動領域にランク付けを行って、各受動領域の信頼基準を決定するステップと、装置上に表示する画像データを、ランク付けに基づいて受動領域内に提示されるグラフィック要素を含むように修正するステップとにより、表示するグラフィック要素を提示する。
【発明の詳細な説明】
【技術分野】
【０００１】
本開示は、一般に、電子装置及び表示アプリケーションに関し、より詳細には、画像データの表示に加えてグラフィック要素を提示するための方法及び装置に関する。
【背景技術】
【０００２】
ディスプレイを有する多くのテレビ及び装置は、ユーザに情報を与えるための通知又はメッセージを提供する。これらのメッセージは、一時的に表示されることもあり、また場合によっては、ディスプレイからメッセージを消去するためのユーザインタラクションを必要とすることもある。多くのユーザは、これらのメッセージが有用であると感じている。しかしながら、これらのメッセージがコンテンツ又は表示テキストを遮ると、視聴者にとって重要な情報が失われる場合がある。典型的な従来技術の解決方法では、１又はそれ以上のグラフィック要素を非オーバーラップ表示するために、表示する画像データのスケールを縮小することによって画像データの表示を修正することができる。しかしながら、これらの方法は、ディスプレイが所望のストリームのコンテンツを最小化し、又はこれを見るのが困難になるという点で、コンテンツがオーバーラップするという欠点も同様に含む。ディスプレイ装置上にコンテンツを表示するための従来の装置及び方法の別の欠点として、重要でない領域にコンテンツを確定して表示できない点が挙げられる。従って、ディスプレイ装置及びアプリケーションによる、上述した欠点の１又はそれ以上を克服して有用な技術的解決策を提供する機能、及び視覚品位を改善できる機能が望まれている。
【発明の概要】
【課題を解決するための手段】
【０００３】
本明細書では、画像データを提示するための方法及び装置を開示し、これについて特許請求する。１つの実施形態では、方法が、装置の表示バッファから画像データを取得するステップと、この画像データを分析して、画像データの能動領域と受動領域を識別するステップと、受動領域にランク付けを行って、各受動領域の信頼基準を決定するステップとを含む。この方法は、装置上に表示する画像データを、上記ランク付けに基づいて受動領域に提示されるグラフィック要素を含むように修正するステップをさらに含む。
【０００４】
当業者には、以下の実施形態の詳細な説明に照らして、その他の態様、特徴、及び技法が明らかになるであろう。
【０００５】
以下に示す詳細な説明を、全体を通じて同じ参照文字が対応する部分を示す図面とともに読めば、本開示の特徴、目的、及び利点がより明らかになるであろう。
【図面の簡単な説明】
【０００６】
【図１】１又はそれ以上の実施形態による、画像データを取得するグラフィック表現である。
【図２】１又はそれ以上の実施形態による、受動領域に表示されたグラフィック要素を含む画像データのグラフィック表現である。
【図３】１つの実施形態による装置の簡略ブロック図である。
【図４】１又はそれ以上の実施形態による、グラフィック要素を提示するためのプロセスを示す図である。
【図５Ａ】１又はそれ以上の実施形態によって表示される画像データのグラフィック表現である。
【図５Ｂ】１又はそれ以上の実施形態によって表示される画像データのグラフィック表現である。
【図６Ａ】１又はそれ以上の実施形態によって表示される画像データのグラフィック表現である。
【図６Ｂ】１又はそれ以上の実施形態によって表示される画像データのグラフィック表現である。
【図６Ｃ】１又はそれ以上の実施形態によって表示される画像データのグラフィック表現である。
【図６Ｄ】１又はそれ以上の実施形態によって表示される画像データのグラフィック表現である。
【発明を実施するための形態】
【０００７】
概観及び用語
本開示の１つの態様は、ビデオデータなどの画像データの表示とともにグラフィック要素を提示するための位置及び表示属性を決定することに関する。表示する画像データを動的に分析し、画像データのコンテンツに基づいて１又はそれ以上のグラフィック要素を提示するための方法及び装置を提供する。本明細書で説明する実施形態の１つの利点は、ユーザにとって重要な又は望ましいデータのオーバーレイを避けながら、表示された画像データにオーバーレイするグラフィック要素を提示する能力であると考えることができる。装置が表示するコンテンツに基づいて、装置コマンド、デジタルビデオ記録（ＤＶＲ）、及び再生コマンド、チャネルリスト、番組ガイド及び放送情報へのアクセスなどのグラフィック要素を位置付けることができる。同様に、ソーシャル・ネットワーク・アプリケーション・メッセージ、ｅメール、ダイアログボックス、インスタントメッセージ・アプリケーション、ウェブログなどの１又はそれ以上のような、メッセージのためのグラフィック要素を提示することもできる。表示する画像データを分析することで、画像データの画面レイアウト及び特定のユーザインターフェイスの配置上へのオーバーレイを防ぐことができる。
【０００８】
１つの実施形態では、グラフィック要素を提示する方法を提供し、この方法は、装置の表示バッファから画像データを取得するステップと、この画像データを分析して能動領域と受動領域を識別するステップとを含む。識別された受動領域にランク付けを行って、各受動領域の信頼基準を決定することができる。このランク付けに基づいて受動領域に提示されるグラフィック要素を含むように画像データを修正して、装置上に表示することができる。従来のグラフィック要素の表示方法とは対照的に、グラフィック要素の位置が特定の位置に固定されず、このグラフィック要素の提示を、画像データ要素を邪魔しないように位置付けることができる。
【０００９】
別の実施形態では、表示バッファのコンテンツを分析し、表示バッファに記憶された画像データに基づいてグラフィック要素を提示するように構成できる装置を提供する。この装置は、ディスプレイを有する装置、又は表示する画像データを処理するように構成された装置に関連することができる。
【００１０】
本明細書で使用する「１つの（英文不定冠詞）」という用語は、１又は１よりも多くを意味するものとする。「複数の」という用語は、２又は２よりも多くを意味するものとする。「別の」という用語は、第２の又はそれ以上の、と定義される。「含む（ｉｎｃｌｕｄｉｎｇ）」及び／又は「有する（ｈａｖｉｎｇ）」という用語には（備える（ｃｏｍｐｒｉｓｉｎｇ）と同様に）制限がない。本明細書で使用する「又は」という用語は包括的なものとして解釈すべきであり、すなわちいずれか１つ又はあらゆる組み合わせを意味する。従って、「Ａ、Ｂ又はＣ」は、「Ａ、Ｂ、Ｃ、ＡとＢ、ＡとＣ、ＢとＣ、ＡとＢとＣ、のいずれか」を意味する。この定義に対する例外は、要素、機能、ステップ又は行為の組み合わせが何らかの点で本質的に互いに相容れない場合にのみ生じる。
【００１１】
本明細書を通じて、「１つの実施形態」、「いくつかの実施形態」、「ある実施形態」、又は同様の用語への言及は、実施形態に関連して説明する特定の特徴、構造又は特性が、少なくとも１つの実施形態に含まれることを意味する。従って、本明細書を通じて至るところに出現するこのような語句は、必ずしも全てが同じ実施形態について言及するものではない。さらに、上記の特定の特徴、構造又は特性を、１又はそれ以上の実施形態にあらゆる好適な態様で制限なく組み合わせることができる。
【００１２】
コンピュータプログラミングの当業者の手法に従って、以下、コンピュータシステム又は同様の電子システムにより実行される動作を参照しながら１又はそれ以上の実施形態について説明する。このような動作を、コンピュータ実行型と呼ぶこともある。なお、符号で表される動作として、中央処理装置などのプロセッサによるデータビットを表す電気信号の操作、及びシステムメモリなどの記憶場所におけるデータビットの保持、並びにその他の信号の処理が挙げられる。データビットを保持する記憶場所とは、データビットに対応する特定の電気的、磁気的、光学的、又は有機的特性を有する物理的場所のことである。
【００１３】
ソフトウェアの形で実現される場合、基本的に本発明の要素は、必要なタスクを行うためのコードセグメントである。このコードセグメントを、情報を記憶できるあらゆる媒体を含むことができるプロセッサ可読媒体に記憶することができる。プロセッサ可読媒体の例として、電子回路、半導体メモリ装置、読み出し専用メモリ（ＲＯＭ）、フラッシュメモリ又はその他の不揮発性メモリ、フロッピー（登録商標）ディスケット、ＣＤ−ＲＯＭ、光ディスク、ハードディスクなどが挙げられる。
【００１４】
例示的な実施形態
ここで図を参照すると、図１に、１又はそれ以上の実施形態でグラフィック要素を提示するために使用できる画像データ取得のグラフィック表現を示している。図１は、装置のバッファに記憶された、装置が表示するコンテンツに関連できる画像データ１００を含む。例えば、画像データ１００は、装置による表示前にフレームバッファに記憶されたビデオ画像データに関連することができる。１つの実施形態によれば、１又はそれ以上のグラフィック要素を提示するために、画像データ１００を動的に分析して、画像データの受動領域及び／又は能動領域を決定することができる。装置による画像データ１００の分析に基づいて、画像データ１００の既存のコンテンツとともに１又はそれ以上のグラフィック要素を提示することができる。
【００１５】
画像データ１００は、フレーム１０５1~nを含む形で示されている。フレーム１０５1~nは、放送データ、（ビデオディスク、Ｂｌｕ−ｒａｙ（商標）などの）媒体から読み出されたデータ、及び装置が記憶しているデータなどの、ビデオデータのフレームとすることができる。１つの実施形態では、画像データ１００の１又はそれ以上のフレームを取得して、この画像データを分析することができる。装置のバッファから１又はそれ以上のフレームを取得し、１１０として示す画像に変換し、この画像を使用して、画像データ１００の能動領域及び／又は受動領域を識別することができる。１つの実施形態では、画像データ１００の連続フレームを組み合わせて又は変換して画像１１０を生成することができる。別の実施形態では、画像データ１１０の非連続フレームを組み合わせて又は変換して画像１１０を生成することができる。画像１１０は、１１５として大まかに示すコンテンツを含み、これを画像データ１００の主題とすることができる。コンテンツ１１５は、例示的なスポーツイベントのビデオ画像に関連し、これを主コンテンツとして記述することができる。画像データ１００の主コンテンツに加え、画像データ１００には、１又はそれ以上のグラフィック要素を含めることができる。一例として、画像１１０は、得点及び時間表示計に関するグラフィック要素１２０を含む。画像１１０は、テキスト表示を含むグラフィック要素１２５をさらに含む。画像データ１００が放送ビデオデータに関連する場合、グラフィック要素１２０及び１２５は、放送局が画像データ１００に加えるコンテンツに関連することができる。しかしながら、他のメディアタイプによって同様の形のコンテンツを提供することもできる。例えば、画像データ１００が映画に関連する場合、この画像データは、主画像コンテンツにオーバーレイされた字幕用のグラフィック要素を含むことができる。装置は、画像１１０を生成してグラフィック要素１２０及び１２５などのグラフィック要素を考慮し、能動領域及び受動領域を識別することができる。
【００１６】
図１には、画像１１０に基づいて装置が決定した受動領域１３０1~nを示している。受動領域１３０1~nは、画像データ１００の、画面上の複数の重要な情報を遮る可能性が低い範囲とすることができる。例えば、受動領域は、テキストが存在する可能性の低い領域であってもよい。同様に、受動領域は、特定の色の頻度が高い、又は色の組が少ない領域であってもよい。本明細書で説明するように、１又はそれ以上の追加属性に基づいて受動領域を決定することもできる。以下で説明するような画像１１０の能動領域に基づいて受動領域を決定できるということも理解されたい。別の実施形態によれば、受動領域を識別してグラフィック要素の位置を決定することができる。
【００１７】
ここで図２を参照すると、装置が表示できる画像データのグラフィック表現を示している。図２は、図１の画像データの分析に基づく装置のディスプレイウィンドウに関連することができる。一例として、（画像１１０などの）画像内の識別された（受動領域１３０1~nなどの）１又はそれ以上の受動領域に基づいて、装置は、画像データに加えてグラフィック要素を表示することができる。図２には、装置のディスプレイウィンドウ２００を示している。装置による画像データ表示を大まかに２０５と呼び、この２０５はビデオデータ又は画像データに関連できるとともに、グラフィック要素２１０（例えば、グラフィック要素１２０）及びグラフィック要素２１５（例えば、グラフィック要素１２５）を含むことができる。１つの実施形態によれば、装置のバッファに記憶された画像データなどの、表示する画像データの分析に基づいて、装置が受動領域２２０を選択し、この受動領域２２０にグラフィック要素２２５を提示することができる。このように、画面上の画像データの重要な部分を遮らずにグラフィック要素２２５を提示することができる。また、装置により提示された画面レイアウトは変更することができ、使用中のアプリケーションに基づいて異なることができる。このように、画像データの分析に基づいてグラフィック要素２２５を提示することにより、ユーザ体験を向上させることができる。
【００１８】
グラフィック要素２２５は、ユーザがメニューの１又はそれ以上の要素を選択して装置の動作を制御できるようにするためのユーザインターフェイスメニューとして示したものである。しかしながら、他の種類のグラフィック要素を提示することもできると理解されたい。例えば、グラフィック要素２２５を、デジタルビデオ記録（ＤＶＲ）コマンド、チャネルリスト、番組ガイド、放送情報へのアクセスなどのような１又はそれ以上の選択可能な装置コマンドのために表示することもできる。別の実施形態によれば、グラフィック要素２２５を、１又はそれ以上のソーシャル・ネットワーキング・アプリケーション・メッセージ、Ｅメール、ダイアログボックス、インスタントメッセージ・アプリケーション、ウェブログなどのようなメッセージとすることができる。さらに、本明細書で説明するように、表示する画像データのコンテンツに基づいて、グラフィック要素２２５を位置付け及び／又は修正することができる。
【００１９】
次に図３を参照すると、１つの実施形態による装置の簡略ブロック図を示している。装置３００は、以下に限定されるわけではないが、ディスプレイ装置、パーソナル通信装置、メディアプレーヤなどを含む、画像データを表示するように構成された装置に関連することができる。いくつかの実施形態では、装置３００が、セットトップボックス、メディアプレーヤなどの、ディスプレイ装置とインターフェイス接続するように構成された周辺装置に関連することができる。図３に示すように、装置３００は、プロセッサ３０５、メモリ３１０、ディスプレイ３１５、入力／出力（Ｉ／Ｏ）インターフェイス３２０、及び表示バッファ３２５を含む。装置３００の要素は、通信バス３３０によって通信及び相互運用するように構成することができる。プロセッサ３０５は、メモリ３１０に記憶された１又はそれ以上のコンピュータ実行可能命令に基づいて装置３００の動作を制御するように構成することができる。１つの実施形態では、プロセッサ３０５を、画像コンテンツの表示を制御して複数のユーザ制御機能を提供するように構成することができる。メモリ３１０は、ＲＡＭメモリ及びＲＯＭメモリの一方に関連することができ、これを、１又はそれ以上のファイル、及び装置３００を動作させるためのコンピュータ実行可能命令を記憶するように構成することができる。メモリ３１０は、単一のメモリユニットとして示しているが、内部装置メモリ及び取り外し可能メモリの１又はそれ以上に関連することができる。メモリ３１０は、１又はそれ以上の電子書籍及びブックマークファイルを記憶することができる。
【００２０】
ディスプレイ３１５は、ビデオデータなどの画像データを表示するために使用され、プロセッサ３０５が実行する１又はそれ以上のアプリケーションを表示することができる。いくつかの実施形態では、ディスプレイ３１５が、タッチスクリーンディスプレイに関連することができる。Ｉ／Ｏインターフェイス３２０は、表示するコンテンツの選択を制御すること、及び装置３００の動作を制御することを含む、装置３００の動作を制御するために使用することができる。Ｉ／Ｏインターフェイス３２０は、数字キー、音量調節、メニュー制御、ポインティングデバイス、トラックボール、モード選択ボタン、及び再生機能（再生、停止、一時停止、早送り、巻戻し、スロー再生など）などの、ユーザ入力のための１又はそれ以上のボタンを含むことができる。Ｉ／Ｏインターフェイス３２０のボタンは、ハードボタン及びソフトボタンを含むことができ、ソフトボタンの機能は、装置３００上で実行される１又はそれ以上のアプリケーションに基づくことができる。Ｉ／Ｏインターフェイス３２０は、装置３００が有線又は無線通信によって通信できるようにする１又はそれ以上の要素を含むことができる。Ｉ／Ｏインターフェイス３２０は、取り外し可能メモリのためのポートを含む、データ受信のための１又はそれ以上のポートを含むことができる。Ｉ／Ｏインターフェイス３２０は、以下に限定されるわけではないが、ＬＡＮ、ＷＡＮ、Ｗｉ−Ｆｉなどを含む、ネットワークベースの通信を可能にするように構成することができる。
【００２１】
表示バッファ３２５は、ディスプレイ３１５による画像データの表示を推進するように構成することができる。１つの実施形態では、表示バッファ３２５を、画像データを表示する前にこのデータを記憶するように構成することができる。いくつかの実施形態では、表示バッファ３２５を、最大１０分間にわたる画像データを記憶するように構成することができる。しかしながら、表示バッファ３２５を、他の時間にわたってデータを保持するように構成することもできると理解されたい。別の実施形態によれば、表示バッファ３２５を、画像データを分析するために、バッファが記憶しているデータをプロセッサ３０５へ出力するように構成することができる。いくつかの実施形態では、プロセッサ３０５を、バッファ３２５が記憶している画像データを分析して受動領域及び能動領域をモニタするように構成することができる。このようにして、装置を、表示バッファ３２５で分析された画像データに基づいて、ユーザ入力を検出したときにグラフィック要素を提示するように構成することができる。
【００２２】
次に図４を参照すると、１又はそれ以上の実施形態によるグラフィック要素を提示するためのプロセスを示している。プロセス４００を使用して、表示するコンテンツを分析し、グラフィック要素をオーバーレイするための、表示されている画像データを邪魔する可能性が低くなる位置を決定することにより、グラフィック要素を動的に提示することができる。プロセス４００は、図３の装置、ディスプレイ装置、マルチメディア装置、ディスプレイ装置のために画像データを処理するように構成された装置、コンピュータ装置、パーソナル通信装置、ゲームシステムなどにより使用することができる。
【００２３】
プロセス４００は、ブロック４０５において、表示する画像データを取得することにより開始することができる。ブロック４０５において取得した画像データは、装置の表示バッファ（表示バッファ３２５など）によって記憶することができる。ブロック４０５における画像データ取得ステップは、画像データをフレームなどの１又はそれ以上の画像データに細分化するステップを含むことができる。いくつかの実施形態では、装置が画像データを表示又は出力する前に、ブロック４０５において画像データを取得することができる。例えば、表示バッファに記憶された１又はそれ以上のフレームを表示する前に、これらをプロセッサに提供することができる。複数のフレームを取得した場合、一連の連続フレームを分析することができる。いくつかの実施形態では、ある時間間隔中に、各々が時間遅延によって分離した１又はそれ以上のフレームが選択された非連続フレームを分析することができる。他の実施形態では、装置による表示中に、ブロック４０５において画像データを取得することができる。例えば、表示バッファの出力を分析して、画像データの領域を特徴付けることができる。いくつかの実施形態では、ブロック４０５において取得した画像データを、受動領域及び能動領域を分析するために単一の画像に変換することができる。ブロック４０５において、ビデオストリームから画像データを取得して、１又はそれ以上のグラフィック要素及びテキスト要素を含めることができる。
【００２４】
ブロック４１０において、ブロック４０５で取得した画像データを分析して、能動領域及び受動領域を決定することができる。プロセッサは、コーナー検出及び変動ウィンドウヒストグラム解析を使用して画像データを分析し、能動領域及び受動領域を決定することができる。コーナー検出は、２つのエッジの交点、すなわち、ある局所近傍で２つの際立った異なるエッジ方向の点が画像データ内に存在するような点の検出を含むことができる。変動ウィンドウヒストグラム（スライディングウィンドウヒストグラムなど）は、個々の位置に対する視覚データのヒストグラム生成するために画像全体にわたるデータウィンドウの生成を含むことができる。このように、画像データの画素を様々なクラスに分類して、画像データの要素の異なる領域を識別することができる。画像データの特徴に基づいて、画像データに基づくグラフィック要素を表示できるように領域を選択することができる。上述したように、受動領域は、特定の色又は特定の色の組の頻度が高い領域であってもよい。一般に、受動領域では、テキストが表示される確率が低く、ヒストグラムウィンドウの値が変化する。能動領域は、テキストが表示される確率が高く、ヒストグラムウィンドウが平坦な領域とすることができる。いくつかの実施形態では、カスケードフィルタを使用して画像データのテキスト分析を実行し、周波数領域の値が高い１又はそれ以上の色を含む特徴集合ヒストグラムウィンドウを作成することができる。
【００２５】
プロセス４００は、ブロック４１５において受動領域にランク付けするステップに進むことができる。例えば、領域を０から１のスケールで特徴付ける信頼基準で受動領域にランク付けすることができる。領域は、グラフィック要素が重要な情報を覆い隠す可能性に基づいてランク付けすることができ、表示されるグラフィック要素の１又はそれ以上の属性にさらに基づくことができる。例えば、グラフィック要素がテキスト又はメッセージボックスに関連する場合、領域にランク付けする際に、メッセージボックスの表示サイズなどのメッセージボックスの表示属性を考慮することができる。
【００２６】
ブロック４２０において、ディスプレイの画像データを、グラフィック要素を含むように修正することができる。例えば、グラフィック要素を表示できる最も大きな隣接する受動領域を選択することができる。その後、グラフィック要素の表示中に、このグラフィック要素を、選択した受動領域に位置付けることができる。いくつかの実施形態では、グラフィック要素のサイズを、画像データの受動領域と一致するように変更することができる。
【００２７】
次に図５Ａ〜図５Ｂを参照すると、１又はそれ以上の実施形態による、グラフィック要素を含む装置のディスプレイウィンドウのグラフィック表現を示している。装置は、１又はそれ以上の能動領域及び受動領域を決定するための画像データの分析に基づいてディスプレイウィンドウ５００を表示することができる。ディスプレイウィンドウ５００内に表示される画像データは、ビデオデータの主題５０５、並びにロゴ５１０及びスクロールするテキスト表示５１５などの、１又はそれ以上のグラフィック要素を含むことができる。装置は、ユーザコマンドに基づいてグラフィック要素を表示するように構成することができる。装置は、ディスプレイウィンドウ５００の画像データを分析し、受動領域を決定することができる。図５Ａに示すように、グラフィック要素５２５を表示するための受動領域５２０を選択することができる。記録したビデオデータを制御するための方向制御のグラフィック要素５２５を示している。ユーザコマンドに少なくとも部分的に基づいて、図示のようにディスプレイウィンドウの上部領域にグラフィック要素５２５を表示することができる。画像データをモニタするように装置を構成し、表示された画像データの変化に基づいて、グラフィック要素５２５の位置及び／又はサイズを変更することができる。
【００２８】
次に図５Ｂを参照すると、図５Ａの画像データをグラフィック要素５３５の表示を含むように修正したディスプレイウィンドウ５２５を示している。１つの実施形態によれば、ディスプレイに対する要素の変化に基づいて、グラフィック要素５２５の位置を、図５Ｂに示すような受動領域５４０に変更することができる。
【００２９】
次に図６Ａ〜図６Ｂを参照すると、１又はそれ以上の受動領域及び能動領域を決定するためのディスプレイウィンドウ及び領域分析のグラフィック表現を示している。まず図６Ａを参照すると、画像データのコンテンツを分析するための画像の細分化のグラフィック表現を示している。画像データ６００をグリッド方式によって細分化し、６０５として示す各ブロックに関連する画素を分析することができる。いくつかの実施形態では、グリッドの一部を全体のグリッドから切り離して分析して、処理する画像データ量を削減することができる。例えば、領域６１０ａ〜６１０ｄを、画像データ６００の他のブロックよりも前に、又はこれらのブロックとともに分析して、１又はそれ以上の受動領域を決定することができる。
【００３０】
別の実施形態によれば、画像データの分析を、ユーザがグラフィック要素を見慣れているディスプレイウィンドウの所定の領域に制限することができる。図６Ｂに示すように、領域６２０ａ〜６２０ｂを基準として画像データ６１５を分析することができる。特定の領域の分析は、各領域６２０ａ〜６２０ｂ内の小領域の分析を含むことができる。グラフィック要素を表示するために、領域６２０ａ〜６２０ｂの１つを選択することができる。
【００３１】
次に図６Ｃを参照すると、画像データ６２５のグラフィック表現を示している。画像データ６２５を分析して、能動領域及び受動領域を決定することができる。プロセッサは、複数のフレームに関する画像データの変化に基づいて、能動領域及び受動領域を決定することができる。変化に基づいて、プロセッサは、図６Ｃ内の６４０及び６４５として示す長方形オブジェクトによって示す能動領域に関連する変化濃度を決定することができる。画像コンテンツが実質的に同じ状態のままである画像データの領域に基づいて、受動領域６３０及び６３５などの受動領域を決定することができる。受動領域の決定は、重要な画像データのグラフィック要素を表すことができるテキストデータの分析をさらに含むことができる。たとえ領域の画素データが実質的に同じであっても、これらの部分を能動領域として示すことができる。
【００３２】
別の実施形態によれば、画像データを分析して、活動性の高い特定の領域を決定することができる。例えば、画像データが映画に関連し、ディスプレイウィンドウの中心領域が能動領域に関連することがある。図６Ｄに、能動領域６６５が画像データの特定の領域内に集中しているディスプレイウィンドウを示す。１つの実施形態によれば、画像データ６５０とともに複数のグラフィック要素を表示し、あるグラフィック要素を第１の受動領域６５５内に、第２のグラフィック要素を第２の受動領域６６０内に表示することができる。一例として、第１及び第２の受動領域は、方向コマンドを含むことができる。或いは、受動領域６５５及び６６０を使用して、異なる種類のグラフィック要素を表示することもできる。
【００３３】
例示的な実施形態を参照しながら本開示を具体的に示し説明したが、当業者であれば、添付の特許請求の範囲に含まれる実施形態の範囲から逸脱することなく、形状及び詳細に様々な変更を行うことができると理解するであろう。
【技術分野】
【０００１】
本開示は、一般に、電子装置及び表示アプリケーションに関し、より詳細には、画像データの表示に加えてグラフィック要素を提示するための方法及び装置に関する。
【背景技術】
【０００２】
ディスプレイを有する多くのテレビ及び装置は、ユーザに情報を与えるための通知又はメッセージを提供する。これらのメッセージは、一時的に表示されることもあり、また場合によっては、ディスプレイからメッセージを消去するためのユーザインタラクションを必要とすることもある。多くのユーザは、これらのメッセージが有用であると感じている。しかしながら、これらのメッセージがコンテンツ又は表示テキストを遮ると、視聴者にとって重要な情報が失われる場合がある。典型的な従来技術の解決方法では、１又はそれ以上のグラフィック要素を非オーバーラップ表示するために、表示する画像データのスケールを縮小することによって画像データの表示を修正することができる。しかしながら、これらの方法は、ディスプレイが所望のストリームのコンテンツを最小化し、又はこれを見るのが困難になるという点で、コンテンツがオーバーラップするという欠点も同様に含む。ディスプレイ装置上にコンテンツを表示するための従来の装置及び方法の別の欠点として、重要でない領域にコンテンツを確定して表示できない点が挙げられる。従って、ディスプレイ装置及びアプリケーションによる、上述した欠点の１又はそれ以上を克服して有用な技術的解決策を提供する機能、及び視覚品位を改善できる機能が望まれている。
【発明の概要】
【課題を解決するための手段】
【０００３】
本明細書では、画像データを提示するための方法及び装置を開示し、これについて特許請求する。１つの実施形態では、方法が、装置の表示バッファから画像データを取得するステップと、この画像データを分析して、画像データの能動領域と受動領域を識別するステップと、受動領域にランク付けを行って、各受動領域の信頼基準を決定するステップとを含む。この方法は、装置上に表示する画像データを、上記ランク付けに基づいて受動領域に提示されるグラフィック要素を含むように修正するステップをさらに含む。
【０００４】
当業者には、以下の実施形態の詳細な説明に照らして、その他の態様、特徴、及び技法が明らかになるであろう。
【０００５】
以下に示す詳細な説明を、全体を通じて同じ参照文字が対応する部分を示す図面とともに読めば、本開示の特徴、目的、及び利点がより明らかになるであろう。
【図面の簡単な説明】
【０００６】
【図１】１又はそれ以上の実施形態による、画像データを取得するグラフィック表現である。
【図２】１又はそれ以上の実施形態による、受動領域に表示されたグラフィック要素を含む画像データのグラフィック表現である。
【図３】１つの実施形態による装置の簡略ブロック図である。
【図４】１又はそれ以上の実施形態による、グラフィック要素を提示するためのプロセスを示す図である。
【図５Ａ】１又はそれ以上の実施形態によって表示される画像データのグラフィック表現である。
【図５Ｂ】１又はそれ以上の実施形態によって表示される画像データのグラフィック表現である。
【図６Ａ】１又はそれ以上の実施形態によって表示される画像データのグラフィック表現である。
【図６Ｂ】１又はそれ以上の実施形態によって表示される画像データのグラフィック表現である。
【図６Ｃ】１又はそれ以上の実施形態によって表示される画像データのグラフィック表現である。
【図６Ｄ】１又はそれ以上の実施形態によって表示される画像データのグラフィック表現である。
【発明を実施するための形態】
【０００７】
概観及び用語
本開示の１つの態様は、ビデオデータなどの画像データの表示とともにグラフィック要素を提示するための位置及び表示属性を決定することに関する。表示する画像データを動的に分析し、画像データのコンテンツに基づいて１又はそれ以上のグラフィック要素を提示するための方法及び装置を提供する。本明細書で説明する実施形態の１つの利点は、ユーザにとって重要な又は望ましいデータのオーバーレイを避けながら、表示された画像データにオーバーレイするグラフィック要素を提示する能力であると考えることができる。装置が表示するコンテンツに基づいて、装置コマンド、デジタルビデオ記録（ＤＶＲ）、及び再生コマンド、チャネルリスト、番組ガイド及び放送情報へのアクセスなどのグラフィック要素を位置付けることができる。同様に、ソーシャル・ネットワーク・アプリケーション・メッセージ、ｅメール、ダイアログボックス、インスタントメッセージ・アプリケーション、ウェブログなどの１又はそれ以上のような、メッセージのためのグラフィック要素を提示することもできる。表示する画像データを分析することで、画像データの画面レイアウト及び特定のユーザインターフェイスの配置上へのオーバーレイを防ぐことができる。
【０００８】
１つの実施形態では、グラフィック要素を提示する方法を提供し、この方法は、装置の表示バッファから画像データを取得するステップと、この画像データを分析して能動領域と受動領域を識別するステップとを含む。識別された受動領域にランク付けを行って、各受動領域の信頼基準を決定することができる。このランク付けに基づいて受動領域に提示されるグラフィック要素を含むように画像データを修正して、装置上に表示することができる。従来のグラフィック要素の表示方法とは対照的に、グラフィック要素の位置が特定の位置に固定されず、このグラフィック要素の提示を、画像データ要素を邪魔しないように位置付けることができる。
【０００９】
別の実施形態では、表示バッファのコンテンツを分析し、表示バッファに記憶された画像データに基づいてグラフィック要素を提示するように構成できる装置を提供する。この装置は、ディスプレイを有する装置、又は表示する画像データを処理するように構成された装置に関連することができる。
【００１０】
本明細書で使用する「１つの（英文不定冠詞）」という用語は、１又は１よりも多くを意味するものとする。「複数の」という用語は、２又は２よりも多くを意味するものとする。「別の」という用語は、第２の又はそれ以上の、と定義される。「含む（ｉｎｃｌｕｄｉｎｇ）」及び／又は「有する（ｈａｖｉｎｇ）」という用語には（備える（ｃｏｍｐｒｉｓｉｎｇ）と同様に）制限がない。本明細書で使用する「又は」という用語は包括的なものとして解釈すべきであり、すなわちいずれか１つ又はあらゆる組み合わせを意味する。従って、「Ａ、Ｂ又はＣ」は、「Ａ、Ｂ、Ｃ、ＡとＢ、ＡとＣ、ＢとＣ、ＡとＢとＣ、のいずれか」を意味する。この定義に対する例外は、要素、機能、ステップ又は行為の組み合わせが何らかの点で本質的に互いに相容れない場合にのみ生じる。
【００１１】
本明細書を通じて、「１つの実施形態」、「いくつかの実施形態」、「ある実施形態」、又は同様の用語への言及は、実施形態に関連して説明する特定の特徴、構造又は特性が、少なくとも１つの実施形態に含まれることを意味する。従って、本明細書を通じて至るところに出現するこのような語句は、必ずしも全てが同じ実施形態について言及するものではない。さらに、上記の特定の特徴、構造又は特性を、１又はそれ以上の実施形態にあらゆる好適な態様で制限なく組み合わせることができる。
【００１２】
コンピュータプログラミングの当業者の手法に従って、以下、コンピュータシステム又は同様の電子システムにより実行される動作を参照しながら１又はそれ以上の実施形態について説明する。このような動作を、コンピュータ実行型と呼ぶこともある。なお、符号で表される動作として、中央処理装置などのプロセッサによるデータビットを表す電気信号の操作、及びシステムメモリなどの記憶場所におけるデータビットの保持、並びにその他の信号の処理が挙げられる。データビットを保持する記憶場所とは、データビットに対応する特定の電気的、磁気的、光学的、又は有機的特性を有する物理的場所のことである。
【００１３】
ソフトウェアの形で実現される場合、基本的に本発明の要素は、必要なタスクを行うためのコードセグメントである。このコードセグメントを、情報を記憶できるあらゆる媒体を含むことができるプロセッサ可読媒体に記憶することができる。プロセッサ可読媒体の例として、電子回路、半導体メモリ装置、読み出し専用メモリ（ＲＯＭ）、フラッシュメモリ又はその他の不揮発性メモリ、フロッピー（登録商標）ディスケット、ＣＤ−ＲＯＭ、光ディスク、ハードディスクなどが挙げられる。
【００１４】
例示的な実施形態
ここで図を参照すると、図１に、１又はそれ以上の実施形態でグラフィック要素を提示するために使用できる画像データ取得のグラフィック表現を示している。図１は、装置のバッファに記憶された、装置が表示するコンテンツに関連できる画像データ１００を含む。例えば、画像データ１００は、装置による表示前にフレームバッファに記憶されたビデオ画像データに関連することができる。１つの実施形態によれば、１又はそれ以上のグラフィック要素を提示するために、画像データ１００を動的に分析して、画像データの受動領域及び／又は能動領域を決定することができる。装置による画像データ１００の分析に基づいて、画像データ１００の既存のコンテンツとともに１又はそれ以上のグラフィック要素を提示することができる。
【００１５】
画像データ１００は、フレーム１０５1~nを含む形で示されている。フレーム１０５1~nは、放送データ、（ビデオディスク、Ｂｌｕ−ｒａｙ（商標）などの）媒体から読み出されたデータ、及び装置が記憶しているデータなどの、ビデオデータのフレームとすることができる。１つの実施形態では、画像データ１００の１又はそれ以上のフレームを取得して、この画像データを分析することができる。装置のバッファから１又はそれ以上のフレームを取得し、１１０として示す画像に変換し、この画像を使用して、画像データ１００の能動領域及び／又は受動領域を識別することができる。１つの実施形態では、画像データ１００の連続フレームを組み合わせて又は変換して画像１１０を生成することができる。別の実施形態では、画像データ１１０の非連続フレームを組み合わせて又は変換して画像１１０を生成することができる。画像１１０は、１１５として大まかに示すコンテンツを含み、これを画像データ１００の主題とすることができる。コンテンツ１１５は、例示的なスポーツイベントのビデオ画像に関連し、これを主コンテンツとして記述することができる。画像データ１００の主コンテンツに加え、画像データ１００には、１又はそれ以上のグラフィック要素を含めることができる。一例として、画像１１０は、得点及び時間表示計に関するグラフィック要素１２０を含む。画像１１０は、テキスト表示を含むグラフィック要素１２５をさらに含む。画像データ１００が放送ビデオデータに関連する場合、グラフィック要素１２０及び１２５は、放送局が画像データ１００に加えるコンテンツに関連することができる。しかしながら、他のメディアタイプによって同様の形のコンテンツを提供することもできる。例えば、画像データ１００が映画に関連する場合、この画像データは、主画像コンテンツにオーバーレイされた字幕用のグラフィック要素を含むことができる。装置は、画像１１０を生成してグラフィック要素１２０及び１２５などのグラフィック要素を考慮し、能動領域及び受動領域を識別することができる。
【００１６】
図１には、画像１１０に基づいて装置が決定した受動領域１３０1~nを示している。受動領域１３０1~nは、画像データ１００の、画面上の複数の重要な情報を遮る可能性が低い範囲とすることができる。例えば、受動領域は、テキストが存在する可能性の低い領域であってもよい。同様に、受動領域は、特定の色の頻度が高い、又は色の組が少ない領域であってもよい。本明細書で説明するように、１又はそれ以上の追加属性に基づいて受動領域を決定することもできる。以下で説明するような画像１１０の能動領域に基づいて受動領域を決定できるということも理解されたい。別の実施形態によれば、受動領域を識別してグラフィック要素の位置を決定することができる。
【００１７】
ここで図２を参照すると、装置が表示できる画像データのグラフィック表現を示している。図２は、図１の画像データの分析に基づく装置のディスプレイウィンドウに関連することができる。一例として、（画像１１０などの）画像内の識別された（受動領域１３０1~nなどの）１又はそれ以上の受動領域に基づいて、装置は、画像データに加えてグラフィック要素を表示することができる。図２には、装置のディスプレイウィンドウ２００を示している。装置による画像データ表示を大まかに２０５と呼び、この２０５はビデオデータ又は画像データに関連できるとともに、グラフィック要素２１０（例えば、グラフィック要素１２０）及びグラフィック要素２１５（例えば、グラフィック要素１２５）を含むことができる。１つの実施形態によれば、装置のバッファに記憶された画像データなどの、表示する画像データの分析に基づいて、装置が受動領域２２０を選択し、この受動領域２２０にグラフィック要素２２５を提示することができる。このように、画面上の画像データの重要な部分を遮らずにグラフィック要素２２５を提示することができる。また、装置により提示された画面レイアウトは変更することができ、使用中のアプリケーションに基づいて異なることができる。このように、画像データの分析に基づいてグラフィック要素２２５を提示することにより、ユーザ体験を向上させることができる。
【００１８】
グラフィック要素２２５は、ユーザがメニューの１又はそれ以上の要素を選択して装置の動作を制御できるようにするためのユーザインターフェイスメニューとして示したものである。しかしながら、他の種類のグラフィック要素を提示することもできると理解されたい。例えば、グラフィック要素２２５を、デジタルビデオ記録（ＤＶＲ）コマンド、チャネルリスト、番組ガイド、放送情報へのアクセスなどのような１又はそれ以上の選択可能な装置コマンドのために表示することもできる。別の実施形態によれば、グラフィック要素２２５を、１又はそれ以上のソーシャル・ネットワーキング・アプリケーション・メッセージ、Ｅメール、ダイアログボックス、インスタントメッセージ・アプリケーション、ウェブログなどのようなメッセージとすることができる。さらに、本明細書で説明するように、表示する画像データのコンテンツに基づいて、グラフィック要素２２５を位置付け及び／又は修正することができる。
【００１９】
次に図３を参照すると、１つの実施形態による装置の簡略ブロック図を示している。装置３００は、以下に限定されるわけではないが、ディスプレイ装置、パーソナル通信装置、メディアプレーヤなどを含む、画像データを表示するように構成された装置に関連することができる。いくつかの実施形態では、装置３００が、セットトップボックス、メディアプレーヤなどの、ディスプレイ装置とインターフェイス接続するように構成された周辺装置に関連することができる。図３に示すように、装置３００は、プロセッサ３０５、メモリ３１０、ディスプレイ３１５、入力／出力（Ｉ／Ｏ）インターフェイス３２０、及び表示バッファ３２５を含む。装置３００の要素は、通信バス３３０によって通信及び相互運用するように構成することができる。プロセッサ３０５は、メモリ３１０に記憶された１又はそれ以上のコンピュータ実行可能命令に基づいて装置３００の動作を制御するように構成することができる。１つの実施形態では、プロセッサ３０５を、画像コンテンツの表示を制御して複数のユーザ制御機能を提供するように構成することができる。メモリ３１０は、ＲＡＭメモリ及びＲＯＭメモリの一方に関連することができ、これを、１又はそれ以上のファイル、及び装置３００を動作させるためのコンピュータ実行可能命令を記憶するように構成することができる。メモリ３１０は、単一のメモリユニットとして示しているが、内部装置メモリ及び取り外し可能メモリの１又はそれ以上に関連することができる。メモリ３１０は、１又はそれ以上の電子書籍及びブックマークファイルを記憶することができる。
【００２０】
ディスプレイ３１５は、ビデオデータなどの画像データを表示するために使用され、プロセッサ３０５が実行する１又はそれ以上のアプリケーションを表示することができる。いくつかの実施形態では、ディスプレイ３１５が、タッチスクリーンディスプレイに関連することができる。Ｉ／Ｏインターフェイス３２０は、表示するコンテンツの選択を制御すること、及び装置３００の動作を制御することを含む、装置３００の動作を制御するために使用することができる。Ｉ／Ｏインターフェイス３２０は、数字キー、音量調節、メニュー制御、ポインティングデバイス、トラックボール、モード選択ボタン、及び再生機能（再生、停止、一時停止、早送り、巻戻し、スロー再生など）などの、ユーザ入力のための１又はそれ以上のボタンを含むことができる。Ｉ／Ｏインターフェイス３２０のボタンは、ハードボタン及びソフトボタンを含むことができ、ソフトボタンの機能は、装置３００上で実行される１又はそれ以上のアプリケーションに基づくことができる。Ｉ／Ｏインターフェイス３２０は、装置３００が有線又は無線通信によって通信できるようにする１又はそれ以上の要素を含むことができる。Ｉ／Ｏインターフェイス３２０は、取り外し可能メモリのためのポートを含む、データ受信のための１又はそれ以上のポートを含むことができる。Ｉ／Ｏインターフェイス３２０は、以下に限定されるわけではないが、ＬＡＮ、ＷＡＮ、Ｗｉ−Ｆｉなどを含む、ネットワークベースの通信を可能にするように構成することができる。
【００２１】
表示バッファ３２５は、ディスプレイ３１５による画像データの表示を推進するように構成することができる。１つの実施形態では、表示バッファ３２５を、画像データを表示する前にこのデータを記憶するように構成することができる。いくつかの実施形態では、表示バッファ３２５を、最大１０分間にわたる画像データを記憶するように構成することができる。しかしながら、表示バッファ３２５を、他の時間にわたってデータを保持するように構成することもできると理解されたい。別の実施形態によれば、表示バッファ３２５を、画像データを分析するために、バッファが記憶しているデータをプロセッサ３０５へ出力するように構成することができる。いくつかの実施形態では、プロセッサ３０５を、バッファ３２５が記憶している画像データを分析して受動領域及び能動領域をモニタするように構成することができる。このようにして、装置を、表示バッファ３２５で分析された画像データに基づいて、ユーザ入力を検出したときにグラフィック要素を提示するように構成することができる。
【００２２】
次に図４を参照すると、１又はそれ以上の実施形態によるグラフィック要素を提示するためのプロセスを示している。プロセス４００を使用して、表示するコンテンツを分析し、グラフィック要素をオーバーレイするための、表示されている画像データを邪魔する可能性が低くなる位置を決定することにより、グラフィック要素を動的に提示することができる。プロセス４００は、図３の装置、ディスプレイ装置、マルチメディア装置、ディスプレイ装置のために画像データを処理するように構成された装置、コンピュータ装置、パーソナル通信装置、ゲームシステムなどにより使用することができる。
【００２３】
プロセス４００は、ブロック４０５において、表示する画像データを取得することにより開始することができる。ブロック４０５において取得した画像データは、装置の表示バッファ（表示バッファ３２５など）によって記憶することができる。ブロック４０５における画像データ取得ステップは、画像データをフレームなどの１又はそれ以上の画像データに細分化するステップを含むことができる。いくつかの実施形態では、装置が画像データを表示又は出力する前に、ブロック４０５において画像データを取得することができる。例えば、表示バッファに記憶された１又はそれ以上のフレームを表示する前に、これらをプロセッサに提供することができる。複数のフレームを取得した場合、一連の連続フレームを分析することができる。いくつかの実施形態では、ある時間間隔中に、各々が時間遅延によって分離した１又はそれ以上のフレームが選択された非連続フレームを分析することができる。他の実施形態では、装置による表示中に、ブロック４０５において画像データを取得することができる。例えば、表示バッファの出力を分析して、画像データの領域を特徴付けることができる。いくつかの実施形態では、ブロック４０５において取得した画像データを、受動領域及び能動領域を分析するために単一の画像に変換することができる。ブロック４０５において、ビデオストリームから画像データを取得して、１又はそれ以上のグラフィック要素及びテキスト要素を含めることができる。
【００２４】
ブロック４１０において、ブロック４０５で取得した画像データを分析して、能動領域及び受動領域を決定することができる。プロセッサは、コーナー検出及び変動ウィンドウヒストグラム解析を使用して画像データを分析し、能動領域及び受動領域を決定することができる。コーナー検出は、２つのエッジの交点、すなわち、ある局所近傍で２つの際立った異なるエッジ方向の点が画像データ内に存在するような点の検出を含むことができる。変動ウィンドウヒストグラム（スライディングウィンドウヒストグラムなど）は、個々の位置に対する視覚データのヒストグラム生成するために画像全体にわたるデータウィンドウの生成を含むことができる。このように、画像データの画素を様々なクラスに分類して、画像データの要素の異なる領域を識別することができる。画像データの特徴に基づいて、画像データに基づくグラフィック要素を表示できるように領域を選択することができる。上述したように、受動領域は、特定の色又は特定の色の組の頻度が高い領域であってもよい。一般に、受動領域では、テキストが表示される確率が低く、ヒストグラムウィンドウの値が変化する。能動領域は、テキストが表示される確率が高く、ヒストグラムウィンドウが平坦な領域とすることができる。いくつかの実施形態では、カスケードフィルタを使用して画像データのテキスト分析を実行し、周波数領域の値が高い１又はそれ以上の色を含む特徴集合ヒストグラムウィンドウを作成することができる。
【００２５】
プロセス４００は、ブロック４１５において受動領域にランク付けするステップに進むことができる。例えば、領域を０から１のスケールで特徴付ける信頼基準で受動領域にランク付けすることができる。領域は、グラフィック要素が重要な情報を覆い隠す可能性に基づいてランク付けすることができ、表示されるグラフィック要素の１又はそれ以上の属性にさらに基づくことができる。例えば、グラフィック要素がテキスト又はメッセージボックスに関連する場合、領域にランク付けする際に、メッセージボックスの表示サイズなどのメッセージボックスの表示属性を考慮することができる。
【００２６】
ブロック４２０において、ディスプレイの画像データを、グラフィック要素を含むように修正することができる。例えば、グラフィック要素を表示できる最も大きな隣接する受動領域を選択することができる。その後、グラフィック要素の表示中に、このグラフィック要素を、選択した受動領域に位置付けることができる。いくつかの実施形態では、グラフィック要素のサイズを、画像データの受動領域と一致するように変更することができる。
【００２７】
次に図５Ａ〜図５Ｂを参照すると、１又はそれ以上の実施形態による、グラフィック要素を含む装置のディスプレイウィンドウのグラフィック表現を示している。装置は、１又はそれ以上の能動領域及び受動領域を決定するための画像データの分析に基づいてディスプレイウィンドウ５００を表示することができる。ディスプレイウィンドウ５００内に表示される画像データは、ビデオデータの主題５０５、並びにロゴ５１０及びスクロールするテキスト表示５１５などの、１又はそれ以上のグラフィック要素を含むことができる。装置は、ユーザコマンドに基づいてグラフィック要素を表示するように構成することができる。装置は、ディスプレイウィンドウ５００の画像データを分析し、受動領域を決定することができる。図５Ａに示すように、グラフィック要素５２５を表示するための受動領域５２０を選択することができる。記録したビデオデータを制御するための方向制御のグラフィック要素５２５を示している。ユーザコマンドに少なくとも部分的に基づいて、図示のようにディスプレイウィンドウの上部領域にグラフィック要素５２５を表示することができる。画像データをモニタするように装置を構成し、表示された画像データの変化に基づいて、グラフィック要素５２５の位置及び／又はサイズを変更することができる。
【００２８】
次に図５Ｂを参照すると、図５Ａの画像データをグラフィック要素５３５の表示を含むように修正したディスプレイウィンドウ５２５を示している。１つの実施形態によれば、ディスプレイに対する要素の変化に基づいて、グラフィック要素５２５の位置を、図５Ｂに示すような受動領域５４０に変更することができる。
【００２９】
次に図６Ａ〜図６Ｂを参照すると、１又はそれ以上の受動領域及び能動領域を決定するためのディスプレイウィンドウ及び領域分析のグラフィック表現を示している。まず図６Ａを参照すると、画像データのコンテンツを分析するための画像の細分化のグラフィック表現を示している。画像データ６００をグリッド方式によって細分化し、６０５として示す各ブロックに関連する画素を分析することができる。いくつかの実施形態では、グリッドの一部を全体のグリッドから切り離して分析して、処理する画像データ量を削減することができる。例えば、領域６１０ａ〜６１０ｄを、画像データ６００の他のブロックよりも前に、又はこれらのブロックとともに分析して、１又はそれ以上の受動領域を決定することができる。
【００３０】
別の実施形態によれば、画像データの分析を、ユーザがグラフィック要素を見慣れているディスプレイウィンドウの所定の領域に制限することができる。図６Ｂに示すように、領域６２０ａ〜６２０ｂを基準として画像データ６１５を分析することができる。特定の領域の分析は、各領域６２０ａ〜６２０ｂ内の小領域の分析を含むことができる。グラフィック要素を表示するために、領域６２０ａ〜６２０ｂの１つを選択することができる。
【００３１】
次に図６Ｃを参照すると、画像データ６２５のグラフィック表現を示している。画像データ６２５を分析して、能動領域及び受動領域を決定することができる。プロセッサは、複数のフレームに関する画像データの変化に基づいて、能動領域及び受動領域を決定することができる。変化に基づいて、プロセッサは、図６Ｃ内の６４０及び６４５として示す長方形オブジェクトによって示す能動領域に関連する変化濃度を決定することができる。画像コンテンツが実質的に同じ状態のままである画像データの領域に基づいて、受動領域６３０及び６３５などの受動領域を決定することができる。受動領域の決定は、重要な画像データのグラフィック要素を表すことができるテキストデータの分析をさらに含むことができる。たとえ領域の画素データが実質的に同じであっても、これらの部分を能動領域として示すことができる。
【００３２】
別の実施形態によれば、画像データを分析して、活動性の高い特定の領域を決定することができる。例えば、画像データが映画に関連し、ディスプレイウィンドウの中心領域が能動領域に関連することがある。図６Ｄに、能動領域６６５が画像データの特定の領域内に集中しているディスプレイウィンドウを示す。１つの実施形態によれば、画像データ６５０とともに複数のグラフィック要素を表示し、あるグラフィック要素を第１の受動領域６５５内に、第２のグラフィック要素を第２の受動領域６６０内に表示することができる。一例として、第１及び第２の受動領域は、方向コマンドを含むことができる。或いは、受動領域６５５及び６６０を使用して、異なる種類のグラフィック要素を表示することもできる。
【００３３】
例示的な実施形態を参照しながら本開示を具体的に示し説明したが、当業者であれば、添付の特許請求の範囲に含まれる実施形態の範囲から逸脱することなく、形状及び詳細に様々な変更を行うことができると理解するであろう。
【特許請求の範囲】
【請求項１】
表示するグラフィック要素を提示する方法であって、
装置の表示バッファから画像データを取得するステップと、
前記画像データを分析して、前記画像データの能動領域及び受動領域を識別するステップと、
前記受動領域にランク付けを行って、各受動領域の信頼基準を決定するステップと、
前記装置上に表示する前記画像データを、前記ランク付けに基づいて受動領域内に提示されるグラフィック要素を含むように修正するステップと、
を含むことを特徴とする方法。
【請求項２】
前記画像データが、前記装置のフレームバッファから取得される、
ことを特徴とする請求項１に記載の方法。
【請求項３】
前記画像データを取得するステップが、前記画像データを１又はそれ以上の画像に細分化するステップを含む、
ことを特徴とする請求項１に記載の方法。
【請求項４】
前記画像データが、前記装置による表示前に取得される、
ことを特徴とする請求項１に記載の方法。
【請求項５】
前記画像データが、前記装置による表示中に取得される、
ことを特徴とする請求項１に記載の方法。
【請求項６】
前記画像データが、バッファに記憶されたビデオデータであり、グラフィック要素及びテキストデータの少なくとも一方を含む、
ことを特徴とする請求項１に記載の方法。
【請求項７】
前記画像データが、モバイル装置、ディスプレイ装置、及びメディアプレーヤの少なくとも１つにユーザインターフェイスとして表示される画像データである、
ことを特徴とする請求項１に記載の方法。
【請求項８】
前記画像データを分析するステップが、能動領域及び受動領域を識別するためのコーナー検出及び変動ウィンドウヒストグラム解析の少なくとも一方を含む、
ことを特徴とする請求項１に記載の方法。
【請求項９】
前記画像データを分析するステップが、前記画像データの連続フレーム及び非連続フレームの一方をサンプリングするステップを含む、
ことを特徴とする請求項１に記載の方法。
【請求項１０】
前記能動領域が、様々な度合の色成分のばらつきを示すテキスト及び画像データの可能性が高い１又はそれ以上の画像データを含む、
ことを特徴とする請求項１に記載の方法。
【請求項１１】
前記受動領域が、特定の色成分との高い相関関係を示すテキスト及び画像データの可能性が低い１又はそれ以上の画像データを含む、
ことを特徴とする請求項１に記載の方法。
【請求項１２】
前記受動領域にランク付けするステップが、画像領域のカスケードフィルタリングを行って、前記領域の色勾配及び平均勾配値を作成するステップを含む、
ことを特徴とする請求項１に記載の方法。
【請求項１３】
前記表示する画像データを修正するステップが、前記表示の出力に１又はそれ以上のグラフィック要素を追加するステップを含む、
ことを特徴とする請求項１に記載の方法。
【請求項１４】
前記受動領域の特性に基づいて、グラフィック要素の１又はそれ以上の形状及び提示サイズを修正するステップをさらに含む、
ことを特徴とする請求項１に記載の方法。
【請求項１５】
画像データを提示するためのコンピュータ実行可能コードを含む、コンピュータ可読媒体に記憶されたコンピュータプログラム製品であって、
装置の表示バッファから画像データを取得するためのコンピュータ可読コードと、
前記画像データを分析して、前記画像データの能動領域及び受動領域を識別するためのコンピュータ可読コードと、
前記受動領域にランク付けを行って、各受動領域の信頼基準を決定するためのコンピュータ可読コードと、
前記装置上に表示する前記画像データを、前記ランク付けに基づいて受動領域内に提示されるグラフィック要素を含むように修正するためのコンピュータ可読コードと、
を含むことを特徴とするコンピュータプログラム製品。
【請求項１６】
前記画像データが、前記装置のフレームバッファから取得される、
ことを特徴とする請求項１５に記載のコンピュータプログラム製品。
【請求項１７】
前記画像データを取得するステップが、前記画像データを１又はそれ以上の画像に細分化するステップを含む、
ことを特徴とする請求項１５に記載のコンピュータプログラム製品。
【請求項１８】
前記画像データが、前記装置による表示前に取得される、
ことを特徴とする請求項１５に記載のコンピュータプログラム製品。
【請求項１９】
前記画像データが、前記装置による表示中に取得される、
ことを特徴とする請求項１５に記載のコンピュータプログラム製品。
【請求項２０】
前記画像データが、バッファに記憶されたビデオデータであり、グラフィック要素及びテキストデータの少なくとも一方を含む、
ことを特徴とする請求項１５に記載のコンピュータプログラム製品。
【請求項２１】
前記画像データが、モバイル装置、ディスプレイ装置、及びメディアプレーヤの少なくとも１つにユーザインターフェイスとして表示される画像データである、
ことを特徴とする請求項１５に記載のコンピュータプログラム製品。
【請求項２２】
前記画像データを分析するステップが、能動領域及び受動領域を識別するためのコーナー検出及び変動ウィンドウヒストグラム解析の少なくとも一方を含む、
ことを特徴とする請求項１５に記載のコンピュータプログラム製品。
【請求項２３】
前記画像データを分析するステップが、前記画像データの連続フレーム及び非連続フレームの一方をサンプリングするステップを含む、
ことを特徴とする請求項１５に記載のコンピュータプログラム製品。
【請求項２４】
前記能動領域が、様々な度合の色成分のばらつきを示すテキスト及び画像データの可能性が高い１又はそれ以上の画像データを含む、
ことを特徴とする請求項１５に記載のコンピュータプログラム製品。
【請求項２５】
前記受動領域が、特定の色成分との高い相関関係を示すテキスト及び画像データの可能性が低い１又はそれ以上の画像データを含む、
ことを特徴とする請求項１５に記載のコンピュータプログラム製品。
【請求項２６】
前記受動領域にランク付けするステップが、画像領域のカスケードフィルタリングを行って、前記領域の色勾配及び平均勾配値を作成するステップを含む、
ことを特徴とする請求項１５に記載のコンピュータプログラム製品。
【請求項２７】
前記表示する画像データを修正するステップが、前記表示の出力に１又はそれ以上のグラフィック要素を追加するステップを含む、
ことを特徴とする請求項１５に記載のコンピュータプログラム製品。
【請求項２８】
前記受動領域の特性に基づいて、グラフィック要素の１又はそれ以上の形状及び提示サイズを修正するステップをさらに含む、
ことを特徴とする請求項１５に記載のコンピュータプログラム製品。
【請求項２９】
表示バッファと、
前記表示バッファに結合されたプロセッサと、
を備え、前記プロセッサが、
表示バッファから画像データを取得し、
前記画像データを分析して、前記画像データの能動領域及び受動領域を識別し、
前記受動領域にランク付けを行って、各受動領域の信頼基準を決定し、
前記装置上に表示する前記画像データを、前記ランク付けに基づいて受動領域内に提示されるグラフィック要素を含むように修正する。
【請求項３０】
前記装置が、ディスプレイ装置、パーソナル通信装置、ハンドヘルドコンピュータ装置、及び一般的コンピュータ装置の１又はそれ以上に関する、
ことを特徴とする請求項２９に記載の装置。
【請求項１】
表示するグラフィック要素を提示する方法であって、
装置の表示バッファから画像データを取得するステップと、
前記画像データを分析して、前記画像データの能動領域及び受動領域を識別するステップと、
前記受動領域にランク付けを行って、各受動領域の信頼基準を決定するステップと、
前記装置上に表示する前記画像データを、前記ランク付けに基づいて受動領域内に提示されるグラフィック要素を含むように修正するステップと、
を含むことを特徴とする方法。
【請求項２】
前記画像データが、前記装置のフレームバッファから取得される、
ことを特徴とする請求項１に記載の方法。
【請求項３】
前記画像データを取得するステップが、前記画像データを１又はそれ以上の画像に細分化するステップを含む、
ことを特徴とする請求項１に記載の方法。
【請求項４】
前記画像データが、前記装置による表示前に取得される、
ことを特徴とする請求項１に記載の方法。
【請求項５】
前記画像データが、前記装置による表示中に取得される、
ことを特徴とする請求項１に記載の方法。
【請求項６】
前記画像データが、バッファに記憶されたビデオデータであり、グラフィック要素及びテキストデータの少なくとも一方を含む、
ことを特徴とする請求項１に記載の方法。
【請求項７】
前記画像データが、モバイル装置、ディスプレイ装置、及びメディアプレーヤの少なくとも１つにユーザインターフェイスとして表示される画像データである、
ことを特徴とする請求項１に記載の方法。
【請求項８】
前記画像データを分析するステップが、能動領域及び受動領域を識別するためのコーナー検出及び変動ウィンドウヒストグラム解析の少なくとも一方を含む、
ことを特徴とする請求項１に記載の方法。
【請求項９】
前記画像データを分析するステップが、前記画像データの連続フレーム及び非連続フレームの一方をサンプリングするステップを含む、
ことを特徴とする請求項１に記載の方法。
【請求項１０】
前記能動領域が、様々な度合の色成分のばらつきを示すテキスト及び画像データの可能性が高い１又はそれ以上の画像データを含む、
ことを特徴とする請求項１に記載の方法。
【請求項１１】
前記受動領域が、特定の色成分との高い相関関係を示すテキスト及び画像データの可能性が低い１又はそれ以上の画像データを含む、
ことを特徴とする請求項１に記載の方法。
【請求項１２】
前記受動領域にランク付けするステップが、画像領域のカスケードフィルタリングを行って、前記領域の色勾配及び平均勾配値を作成するステップを含む、
ことを特徴とする請求項１に記載の方法。
【請求項１３】
前記表示する画像データを修正するステップが、前記表示の出力に１又はそれ以上のグラフィック要素を追加するステップを含む、
ことを特徴とする請求項１に記載の方法。
【請求項１４】
前記受動領域の特性に基づいて、グラフィック要素の１又はそれ以上の形状及び提示サイズを修正するステップをさらに含む、
ことを特徴とする請求項１に記載の方法。
【請求項１５】
画像データを提示するためのコンピュータ実行可能コードを含む、コンピュータ可読媒体に記憶されたコンピュータプログラム製品であって、
装置の表示バッファから画像データを取得するためのコンピュータ可読コードと、
前記画像データを分析して、前記画像データの能動領域及び受動領域を識別するためのコンピュータ可読コードと、
前記受動領域にランク付けを行って、各受動領域の信頼基準を決定するためのコンピュータ可読コードと、
前記装置上に表示する前記画像データを、前記ランク付けに基づいて受動領域内に提示されるグラフィック要素を含むように修正するためのコンピュータ可読コードと、
を含むことを特徴とするコンピュータプログラム製品。
【請求項１６】
前記画像データが、前記装置のフレームバッファから取得される、
ことを特徴とする請求項１５に記載のコンピュータプログラム製品。
【請求項１７】
前記画像データを取得するステップが、前記画像データを１又はそれ以上の画像に細分化するステップを含む、
ことを特徴とする請求項１５に記載のコンピュータプログラム製品。
【請求項１８】
前記画像データが、前記装置による表示前に取得される、
ことを特徴とする請求項１５に記載のコンピュータプログラム製品。
【請求項１９】
前記画像データが、前記装置による表示中に取得される、
ことを特徴とする請求項１５に記載のコンピュータプログラム製品。
【請求項２０】
前記画像データが、バッファに記憶されたビデオデータであり、グラフィック要素及びテキストデータの少なくとも一方を含む、
ことを特徴とする請求項１５に記載のコンピュータプログラム製品。
【請求項２１】
前記画像データが、モバイル装置、ディスプレイ装置、及びメディアプレーヤの少なくとも１つにユーザインターフェイスとして表示される画像データである、
ことを特徴とする請求項１５に記載のコンピュータプログラム製品。
【請求項２２】
前記画像データを分析するステップが、能動領域及び受動領域を識別するためのコーナー検出及び変動ウィンドウヒストグラム解析の少なくとも一方を含む、
ことを特徴とする請求項１５に記載のコンピュータプログラム製品。
【請求項２３】
前記画像データを分析するステップが、前記画像データの連続フレーム及び非連続フレームの一方をサンプリングするステップを含む、
ことを特徴とする請求項１５に記載のコンピュータプログラム製品。
【請求項２４】
前記能動領域が、様々な度合の色成分のばらつきを示すテキスト及び画像データの可能性が高い１又はそれ以上の画像データを含む、
ことを特徴とする請求項１５に記載のコンピュータプログラム製品。
【請求項２５】
前記受動領域が、特定の色成分との高い相関関係を示すテキスト及び画像データの可能性が低い１又はそれ以上の画像データを含む、
ことを特徴とする請求項１５に記載のコンピュータプログラム製品。
【請求項２６】
前記受動領域にランク付けするステップが、画像領域のカスケードフィルタリングを行って、前記領域の色勾配及び平均勾配値を作成するステップを含む、
ことを特徴とする請求項１５に記載のコンピュータプログラム製品。
【請求項２７】
前記表示する画像データを修正するステップが、前記表示の出力に１又はそれ以上のグラフィック要素を追加するステップを含む、
ことを特徴とする請求項１５に記載のコンピュータプログラム製品。
【請求項２８】
前記受動領域の特性に基づいて、グラフィック要素の１又はそれ以上の形状及び提示サイズを修正するステップをさらに含む、
ことを特徴とする請求項１５に記載のコンピュータプログラム製品。
【請求項２９】
表示バッファと、
前記表示バッファに結合されたプロセッサと、
を備え、前記プロセッサが、
表示バッファから画像データを取得し、
前記画像データを分析して、前記画像データの能動領域及び受動領域を識別し、
前記受動領域にランク付けを行って、各受動領域の信頼基準を決定し、
前記装置上に表示する前記画像データを、前記ランク付けに基づいて受動領域内に提示されるグラフィック要素を含むように修正する。
【請求項３０】
前記装置が、ディスプレイ装置、パーソナル通信装置、ハンドヘルドコンピュータ装置、及び一般的コンピュータ装置の１又はそれ以上に関する、
ことを特徴とする請求項２９に記載の装置。
【図１】
【図２】
【図３】
【図４】
【図５Ａ】
【図５Ｂ】
【図６Ａ】
【図６Ｂ】
【図６Ｃ】
【図６Ｄ】
【図２】
【図３】
【図４】
【図５Ａ】
【図５Ｂ】
【図６Ａ】
【図６Ｂ】
【図６Ｃ】
【図６Ｄ】
【公開番号】特開２０１３−３３４７１（Ｐ２０１３−３３４７１Ａ）
【公開日】平成２５年２月１４日（２０１３．２．１４）
【国際特許分類】
【外国語出願】
【出願番号】特願２０１２−１６０９４９（Ｐ２０１２−１６０９４９）
【出願日】平成２４年７月２日（２０１２．７．２）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２５年２月１４日（２０１３．２．１４）
【国際特許分類】
【出願番号】特願２０１２−１６０９４９（Ｐ２０１２−１６０９４９）
【出願日】平成２４年７月２日（２０１２．７．２）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]