トリミング制御装置及びトリミング制御プログラム
【課題】表示画面が小さい端末等にコンテンツを表示する場合、自然なカメラワークを実現し、視認性を損なわない画面を表示可能なトリミング制御装置及びトリミング制御プログラムを提供する。
【解決手段】トリミング制御装置10が外部から映像及び参照データを入力すると、注目オブジェクト座標検出部12は、入力した参照データに基づいて注目オブジェクト座標を検出する。平滑化処理部13は、注目オブジェクト座標を入力すると、所定フレーム数のオブジェクト座標を記憶する。そして、平滑化処理部13は、記憶したオブジェクト座標に基づいて移動平均を算出し、この移動平均の値をトリミング座標に決定する。トリミング処理部11は、入力した映像のオリジナル画面から、トリミング座標を中心とした所定の大きさの画面を切り出し、トリミング画面を生成する。
【解決手段】トリミング制御装置10が外部から映像及び参照データを入力すると、注目オブジェクト座標検出部12は、入力した参照データに基づいて注目オブジェクト座標を検出する。平滑化処理部13は、注目オブジェクト座標を入力すると、所定フレーム数のオブジェクト座標を記憶する。そして、平滑化処理部13は、記憶したオブジェクト座標に基づいて移動平均を算出し、この移動平均の値をトリミング座標に決定する。トリミング処理部11は、入力した映像のオリジナル画面から、トリミング座標を中心とした所定の大きさの画面を切り出し、トリミング画面を生成する。
【発明の詳細な説明】
【技術分野】
【0001】
本発明は、トリミング制御技術に関し、特に、番組用に制作された映像コンテンツ等を携帯端末等の小さい画面で視聴する場合に、視認性を損なうことがないトリミング制御技術に関する。
【背景技術】
【0002】
従来、テレビ放送を受信することが可能な携帯電話やPDA(Personal Data Assistants)等の携帯端末が普及している。このような携帯端末は、動画像を表示する画面の大きさや伝送容量に制限があるため、例えば、携帯端末向けデジタル放送(1セグ放送)に採用されたH.264の解像度の場合、番組によっては視認性が著しく悪くなることが想定される。
【0003】
この問題を解決する方法として、動画像の注目領域を拡大表示することが考えられる。しかし、携帯端末では、視認性を損なわないようにトリミング映像を最適に表示することは困難である。
【0004】
一方、画像の注目領域を表示するためのトリミング制御について、様々な技術が開示されている。例えば、特許文献1のトリミング装置は、トリミングの対象となる画像の注目領域を算出してオブジェクト指標を求め、当該オブジェクト指標に基づいてトリミング手法を選択し、当該選択したトリミング手法でトリミング処理を行う。これにより、画像のトリミングを自動的かつ効果的に行うことができる。また、動画像の手ぶれを補正する技術として、例えば、特許文献2の手ブレ制御装置は、映像フィールドの時間的な画像の動きを検出して手ブレ量を算出し、決定した切り出し枠を手ブレ量に応じて移動させることにより、手ブレ補正を実現する。この場合、手ブレ量は、映像フィールドを4つのブロックに分割し、ブロック間を比較し代表的マッチング法を用いて算出される。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2004−228995号公報
【特許文献2】特開平6−46316号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、前述した技術は、画像を見る者の観点で画像が見やすくなるように、トリミング画面の中心座標(以下、トリミング座標という。)や、手ブレ補正の際に表示画面の中心座標を求めることはしていない。すなわち、携帯端末に画像を出力する場合、視認性を考慮した処理が行われていないため、必ずしも見やすい画像が提供されているとは限らない。
【0007】
また、従来、放送のデジタル化や多チャンネル化が進み、コンテンツ不足が懸念されている。このため、各放送局や番組制作会社は、限られた資源を利用して番組を制作しなければならず、新たな映像生成技術が要望されていた。
【0008】
そこで、本発明は、かかる課題を解決するためになされたものであり、その目的は、表示画面が小さい端末等にコンテンツを表示する場合、自然なカメラワークを実現し、視認性を損なわない画面を表示可能なトリミング制御装置及びトリミング制御プログラムを提供することにある。
【課題を解決するための手段】
【0009】
本発明におけるトリミング制御装置は、注目するオブジェクトの座標を検出する注目オブジェクト座標検出部と、前記検出されたオブジェクト座標に基づいて、トリミング座標を決定するトリミング座標決定部と、トリミングにより、前記決定されたトリミング座標を中心に、入力した映像のオリジナル画面から一部の画面を切り出し、トリミング画面を生成し、該トリミング画面の映像を出力するトリミング処理部と、を備えたことを特徴とする。
【0010】
また、本発明におけるトリミング制御装置は、前記トリミング座標決定部が、検出されたオブジェクト座標を平滑化し、該平滑化したオブジェクト座標をトリミング座標に決定することを特徴とする。オブジェクト座標が小刻みに変動している場合、そのままトリミング処理を行ったのではトリミング画面は見づらくなる。そこで、オブジェクト座標を平滑化し、トリミング座標を決定するようにした。これにより、トリミング画面は小刻みに変動することがなく見易くなる。この場合、平滑化を、移動平均によるものとすることが好適である。また、平滑化を、ローパスフィルタを用いた積分処理によるものとすることが好適である。
【0011】
また、本発明におけるトリミング制御装置は、前記トリミング座標決定部が、検出されたオブジェクト座標に基づいてオフセット量を決定し、該オフセット量をオブジェクト座標に付加した座標を、トリミング座標に決定することを特徴とする。
【0012】
また、本発明におけるトリミング制御装置は、前記トリミング座標決定部が、検出されたオブジェクト座標に基づいて、トリミング画面におけるオブジェクト位置及びオブジェクト移動量を算出し、該トリミング画面のオブジェクト位置及びオブジェクト移動量を入力値とし、トリミング座標の移動量を出力値としたファジィ制御により、トリミング座標を決定することを特徴とする。
【0013】
また、本発明におけるトリミング制御装置は、前記トリミング座標決定部が、検出されたオブジェクト座標に基づいて、トリミング画面におけるオブジェクト位置及びオブジェクト移動量を算出し、前記オブジェクト座標をオリジナル画面のオブジェクト座標とし、該オリジナル画面のオブジェクト座標、トリミング画面のオブジェクト位置、及びオブジェクト移動量を入力値とし、トリミング座標の移動量を出力値としたファジィ制御により、トリミング座標を決定することを特徴とする。
【0014】
また、本発明におけるトリミング制御装置は、さらに、前記注目オブジェクト座標検出部により検出されたオブジェクト座標に基づいてオフセット量を決定し、前記トリミング座標決定部により決定されたトリミング座標に前記決定したオフセット量を付加した座標を、新たなトリミング座標に決定するオフセット量付加部を備え、前記トリミング処理部が、前記決定された新たなトリミング座標を中心に、入力した映像のオリジナル画面から一部の画面を切り出し、トリミング画面を生成し、該トリミング画面の映像を出力することを特徴とする。
【0015】
また、本発明におけるトリミング制御装置は、前記注目オブジェクト座標検出部は、注目するオブジェクト座標を含むメタデータを受信し、該メタデータから注目するオブジェクト座標を検出することを特徴とする。
【0016】
さらに、本発明におけるトリミングプログラムは、トリミング制御装置を構成するコンピュータに、注目するオブジェクトの座標を検出する処理と、前記検出されたオブジェクト座標に基づいてトリミング座標を決定する処理と、トリミングにより、前記決定されたトリミング座標を中心に、入力した映像のオリジナル画面から一部の画面を切り出し、トリミング画面を生成し、該トリミング画面の映像を出力する処理と、を実行させることを特徴とする。
【発明の効果】
【0017】
一般に、番組撮影においてカメラマンは、被写体であるオブジェクトの向き、動く方向、周囲の環境等を総合的に判断し、ズームやパン・チルト等のカメラワークを決定する。例えば、被写体を必ず中心におく構図で撮影された映像よりも、被写体の向きや動く方向によりその前を空けるような構図(図14を参照)で撮影された映像の方が自然な感じを受ける場合が多い。本発明は、注目するオブジェクト座標をそのままトリミング座標として用いるのではなく、注目するオブジェクトの進行方向等を考慮してトリミング座標を決定し、当該トリミング座標を用いてトリミング処理を行う。これにより、表示画面が小さい端末等にコンテンツを表示する場合、自然なカメラワークを実現し、視認性を損なわない画面を表示することが可能となり、トリミング映像は見やすいものとなる。
【図面の簡単な説明】
【0018】
【図1】本発明によるトリミング制御装置の実施例1の構成及びフローチャートを示す図である。
【図2】本発明によるトリミング制御装置の実施例2の構成及びフローチャートを示す図である。
【図3】実施例2のオフセット処理を説明する図である。
【図4】本発明によるトリミング制御装置の実施例3の構成及びフローチャートを示す図である。
【図5】実施例3のファジィ制御を説明する図である。
【図6】実施例3の詳細な動作を示すフローチャート図である。
【図7】トリミング画面のボール位置に対するファジィ集合を示す図である。
【図8】ボール移動量に対するファジィ集合を示す図である。
【図9】トリミング座標の移動量に対するファジィ集合を示す図である。
【図10】ファジィ制御によるトリミング座標の移動量の算出方法を図式化した図である。
【図11】本発明によるトリミング制御装置の実施例4の構成及びフローチャートを示す図である。
【図12】実施例4の詳細な動作を示すフローチャート図である。
【図13】オリジナル画面のボール位置に対するファジィ集合を示す図である。
【図14】実施例4の前空き画面を説明する図である。
【図15】本発明によるトリミング制御装置の実施例5の構成及びフローチャートを示す図である。
【発明を実施するための形態】
【0019】
以下、本発明の実施の形態について図面を用いて詳細に説明する。本発明の実施の形態によるトリミング制御装置は、番組用に制作された映像コンテンツ等の映像を入力し、この映像のオリジナル画面からトリミング画面を切り出して生成し、出力するものである。このトリミング画面を生成する際に、オリジナル画面から対象となる注目オブジェクト座標を検出し、トリミング画面の中心座標であるトリミング座標を決定する。ここで、本発明は、トリミング画面を映像として携帯端末等に表示した場合に、その視認性を損なわないトリミング映像とするためのトリミング座標を如何に決定するかが特徴となる。
【0020】
本発明の実施例1は、対象となるオブジェクト座標の細かな変動を平滑化するものであり、図1に示されている。実施例2は、オブジェクト座標にオフセットを加えた座標をトリミング座標とするものであり、図2及び図3に示されている。実施例3は、ファジィ制御によりトリミング座標を求めるものであり、図4から図10に示されている。実施例4は、ファジィ制御により前空き画面を有するトリミング座標を求めるものであり、図11から図14に示されている。実施例5は、ファジィ制御により求めたトリミング座標に対してオフセットを加えるものであり、図15に示されている。以下、実施例1から5について詳細に説明する。
【実施例1】
【0021】
図1は、本発明によるトリミング制御装置の実施例1の構成及びフローチャートを示す図である。図1(a)を参照して、このトリミング制御装置10は、トリミング処理部11、注目オブジェクト座標検出部12、及び平滑化処理部13を備えている。トリミング処理部11は、外部から映像を、平滑化処理部13からトリミング座標をそれぞれ入力し、入力した映像のオリジナル画面から、トリミング座標を中心とした所定の大きさの画面を切り出し、トリミング画面を生成し、当該トリミング画面をトリミング映像として外部に出力する。つまり、トリミング処理部11は、オリジナル画面のシーンをフレーム毎に再構成し、再構成したシーンを例えばディスプレイに表示する。注目オブジェクト座標検出部12は、外部から参照データ(メタデータ)を入力し、オリジナル画面中の注目するオブジェトの座標(注目オブジェクト座標)を検出し、当該注目オブジェクト座標を平滑化処理部13に出力する。この場合、注目オブジェクト座標検出部12は、外部から映像そのものを入力し、例えば正規化相関トラッキングによるパターンマッチング等の画像処理技術により、注目オブジェクト座標を検出するようにしてもよい。平滑化処理部13は、注目オブジェクト座標検出部12から注目オブジェクト座標を入力し、フレーム毎の注目オブジェクト座標を図示しない記憶手段に記憶する。そして、過去数フレーム分の注目オブジェクト座標を記憶手段から読み出し、移動平均を求め、その移動平均の値をトリミング座標としてトリミング処理部11に出力する。
【0022】
図1(b)を参照して、トリミング制御装置10の動作について説明する。トリミング制御装置10が、外部から映像及び参照データを入力すると、注目オブジェクト座標検出部12は、入力した参照データに基づいて注目オブジェクト座標を検出する(ステップS101)。平滑化処理部13は、注目オブジェクト座標検出部12から注目オブジェクト座標を入力すると、所定フレーム数のオブジェクト座標を記憶する(ステップS102)。そして、平滑化処理部13は、記憶したオブジェクト座標に基づいて移動平均を算出し(ステップS103)、この移動平均の値をトリミング座標に決定する(ステップS104)。トリミング処理部11は、入力した映像のオリジナル画面から、トリミング座標を中心とした所定の大きさの画面を切り出し、トリミング画面を生成する(ステップS105)。
【0023】
以上のように、実施例1のトリミング制御装置10によれば、平滑化処理部13が、過去数フレーム分の注目オブジェクト座標の移動平均値をトリミング座標として決定するようにした。これにより、注目オブジェクトが細かい座標変動を起こした場合であっても、トリミング座標はこの変動に対して必要以上に追従することがない。
【0024】
尚、前述の平滑化処理部13は、過去数フレーム分の注目オブジェクト座標の移動平均値をトリミング座標として出力するようにしたが、積分回路(ローパスフィルタ)を用いてトリミング座標を求め出力するようにしてもよい。これにより、注目オブジェクトの座標変動により生じる高周波成分を取り除くことができる。
【実施例2】
【0025】
図2は、本発明によるトリミング制御装置の実施例2の構成及びフローチャートを示す図である。図2(a)を参照して、このトリミング制御装置20は、トリミング処理部21、注目オブジェクト座標検出部22、及びオフセット量付加部23を備えている。トリミング処理部21は、外部から映像を、オフセット量付加部23からトリミング座標をそれぞれ入力し、入力した映像のオリジナル画面から、トリミング座標を中心とした所定の大きさの画面を切り出し、トリミング画面を生成し、当該トリミング画面をトリミング映像として外部に出力する。注目オブジェクト座標検出部22は、図1に示した実施例1の注目オブジェクト座標検出部12と同様に、注目オブジェクト座標を検出し、当該注目オブジェクト座標をオフセット量付加部23に出力する。オフセット量付加部23は、注目オブジェクト座標検出部22から注目オブジェクト座標を入力し、注目オブジェクト座標とオリジナル画面の中心座標とを比較し、オリジナル画面の中心からの位置(距離及び方向)を求め、この中心からの位置に比例したオフセット量を決定する。この場合、予め設定された値をオフセット量として決定してもよい。そして、オブジェクト座標にオフセット量を加えてトリミング座標とし、当該トリミング座標をトリミング処理部21に出力する。
【0026】
図3は、オリジナル画面中の注目オブジェクトをボールとし、ボール自体がオリジナル画面の中心から左側に位置している場合の例である。図3に示すように、オフセット量付加部23は、例えば、トリミング処理を行うときもボールがトリミング画面の左側に位置するように、オフセット量を決定する。
【0027】
図2(b)を参照して、トリミング制御装置20の動作について説明する。トリミング制御装置20が、外部から映像及び参照データを入力すると、注目オブジェクト座標検出部22は、入力した参照データに基づいて注目オブジェクト座標を検出する(ステップS201)。オフセット量付加部23は、注目オブジェクト座標検出部22から注目オブジェクト座標を入力すると、注目オブジェクト座標とオリジナル画面の中心座標とに基づいて注目オブジェクトの位置を検出し(ステップS202)、その位置に基づいてオフセット量を決定し(ステップS203)、注目オブジェクト座標にオフセット量を加えた座標を、トリミング座標に決定する(ステップS204)。トリミング処理部21は、入力した映像のオリジナル画面から、トリミング座標を中心とした所定の大きさの画面を切り出し、トリミング画面を生成する(ステップS205)。
【0028】
以上のように、実施例2のトリミング制御装置20によれば、オフセット量付加部23が、注目オブジェクト座標とオリジナル画面の中心座標とを比較し、オリジナル画面の中心からの注目オブジェクトの位置に応じたオフセット量を決定し、オブジェクト座標にオフセット量を加えた座標をトリミング座標に決定するようにした。これにより、オリジナル画面における注目オブジェクトの位置を反映したトリミング画面を生成することができる。つまり、オリジナル映像におけるカメラワークと同様なカメラワークを実現し、視認性を損なわないトリミング映像を実現することが可能となる。
【0029】
尚、前述のオフセット量付加部23は、注目オブジェクト座標とオリジナル画面の中心座標とを比較し、オリジナル画面の中心からの注目オブジェクトの位置に応じてオフセット量を決定するようにしたが、ボールの移動方向及び移動量を予測してオフセット量を決定するようにしてもよい。具体的には、ボール自体がオリジナル画面の中心から左側に位置している場合に、オフセット量付加部23は、前フレームのボールの位置と現フレームのボールの位置との間の差分を求め、今後ボールがどの方向に移動するか及び移動量を予測する。ボールがさらに左側に移動するものと予測できる場合には、トリミング処理を行うときにボールがトリミング画面の中央に位置するように、オフセット量を決定する。
【0030】
また、ボールを支配しているチームの情報を用いて、攻撃と防御を加味したオフセット量を決定するようにしてもよい。具体的には、オフセット量付加部23は、外部から入力した参照データから、ボールを支配しているチームの識別情報を抽出し、攻撃側のチームがボールを支配していると判断した場合は、守備側のチームの方向にトリミング画面幅の1/4程度のオフセット量を決定する。これにより、攻撃方向にスペース(前空き)を有するトリミング画面を生成することができる。
【実施例3】
【0031】
図4は、本発明によるトリミング制御装置の実施例3の構成及びフローチャートを示す図である。図4(a)を参照して、このトリミング制御装置30は、トリミング処理部31、注目オブジェクト座標検出部32、及びファジィ制御部33を備えている。トリミング処理部31は、外部から映像を、ファジィ制御部33からトリミング座標をそれぞれ入力し、入力した映像のオリジナル画面から、トリミング座標を中心とした所定の大きさの画面を切り出し、トリミング画面を生成し、当該トリミング画面をトリミング映像として外部に出力する。注目オブジェクト座標検出部32は、図1に示した実施例1の注目オブジェクト座標検出部12と同様に、注目オブジェクト座標を検出し、当該注目オブジェクト座標をファジィ制御部33に出力する。ファジィ制御部33は、注目オブジェクト座標検出部32から注目オブジェクト座標を入力し、オブジェクトの移動量を算出する。また、前フレームのトリミングをそのままの位置で続けた場合の、現在のオブジェクト位置(トリミング画面のオブジェクト位置)を算出する。そして、ファジィ制御部33は、トリミング画面のオブジェクト位置及びオブジェクト移動量を入力値、トリミング座標の移動量を出力値とし、オブジェクトがトリミング画面の中心に移動するように設定されたファジィルールにより、トリミング座標を決定し、トリミング処理部31に出力する。
【0032】
図4(b)を参照して、トリミング制御装置30の動作について説明する。尚、トリミング制御装置30の動作の詳細については後述するが、ここでは動作の概要を説明する。トリミング制御装置30が、外部から映像及び参照データを入力すると、注目オブジェクト座標検出部32は、入力した参照データに基づいて注目オブジェクト座標を検出する(ステップS301)。ファジィ制御部33は、注目オブジェクト座標検出部32から注目オブジェクト座標を入力すると、オブジェクトの移動量を算出し(ステップS302)、トリミング画面のオブジェクト位置を算出し(ステップS303)、ファジィ制御によりトリミング座標の移動量を算出し、トリミング座標を決定する(ステップS304)。トリミング処理部31は、入力した映像のオリジナル画面から、トリミング座標を中心とした所定の大きさの画面を切り出し、トリミング画面を生成する(ステップS305)。
【0033】
次に、ファジィ制御部33の動作について詳細に説明する。例えば、サッカー中継においてボールを注目オブジェクトとする場合、ボールの現在座標(トリミング画面のボール位置)、及びボールの移動量を入力値として使用する。図5を参照して、オリジナル画面の左上を起点に、水平方向をx軸、垂直方向をy軸とし、オリジナル画面中のボールを中心とした枠内の画面をトリミング画面とする。図5の上部に示した画面は、n−1フレームにおけるオリジナル画面及びトリミング画面であり、下部に示した画面は、nフレームにおけるオリジナル画面及びトリミング画面である。
【0034】
いま、n−tフレームのオリジナル画面において、ボール位置を(xa[n−1],ya[n−1])、トリミングする中心座標を(xt[n−1],yt[n−1])とし、nフレームのオリジナル画面において、ボール位置を(xa[n],ya[n])、トリミングする中心座標を(xt[n],yt[n])とする。この場合、トリミング後の画面(トリミング画面)において、ボール位置を(xbt[n],ybt[n])とすると、トリミング座標を起点(0,0)として(1)式となる。
(xbt[n],ybt[n])=(xa[n]−xt[n−1],ya[n]−yt[n−1]) ・・・ (1)
また、ボール移動量を(xbm[n],ybm[n])とすると、(2)式となる。
(xbm[n],ybm[n])=(xa[n]−xa[n−1],ya[n]−ya[n−1]) ・・・ (2)
【0035】
ファジィ制御の入力値として、前フレームのトリミングをそのままの位置で続けたときの現在のボール位置(式(1)を参照)、及び、ボール移動量(式(2)を参照)を使用し、出力値としてトリミング座標の移動量(Δx[n],Δy[n])を求める。したがって、実際にトリミングするべき中心座標は(3)式となる。
(xt[n],yt[n])=(xt[n−1]+Δx[n],yt[n−1]+Δy[n]) ・・・ (3)
尚、トリミング座標の初期値を(4)式とする。
(xt[0],yt[0])=(xa[0],ya[0]) ・・・ (4)
【0036】
図6は、ファジィ制御部33の詳細な動作を示すフローチャート図である。このフローチャートは、図4(b)に示したフローチャートのステップ302〜304をより詳細に示したものである。図6を参照して、トリミング処理部31に最初のフレーム(n=0)のトリミング処理を行わせるために、ファジィ制御部33は、ボール座標(xa[0],xa[0])をトリミング座標として出力する(ステップS601)。つまり、トリミング座標は前述した(4)式のとおりである。そして、次のフレーム(n=1)に進む(ステップS602)。
【0037】
ファジィ制御部33は、注目オブジェクト座標検出部32が参照データ(メタデータ)に基づいて検出したボール位置(xa[n],ya[n])を入力する(ステップS603)。また、前フレームにおけるトリミング画面のボール位置((1)式を参照)、及びボール移動量((2)式を参照)をそれぞれ求め(ステップS604,605)、ファジィ推論から制御量であるトリミング座標の移動量を(5)式のように求める(ステップS606)。
(Δx[n],Δy[n])=Fuzzy{(xbt[n],ybt[n]),(xbm[n],ybm[n])} ・・・ (5)
また、前フレームのトリミング座標に制御量を加えた座標をトリミング座標として、トリミング処理部31に出力する(ステップS607)。そして、次のフレーム(n←n+1)に進み(ステップS608)、ステップ603に移行する。このようにして、フレーム毎にステップ603からステップ608の各処理を実行する。
【0038】
例えば、解像度がVGA(Video Graphics Array)(640×480)の動画映像をQVGA(Quarter VGA)(320×240)サイズでトリミングする場合、トリミング後のQVGA画面でのボール位置は、−160≦xbt≦160,−120≦ybt≦120の範囲の値をとり、ボール移動量は、−640≦xbm≦640,−480≦ybm≦480の範囲の値をとる。
【0039】
次に、図6に示したステップ606のファジィ推論による制御量(オブジェクト座標の移動量)の算出方法について詳細に説明する。一般に、ファジィ制御は、複数のIF−THENルールを用いて行われる。このファジィルールを表1に示す。
【0040】
【表1】
【0041】
表1において、各行はボール位置、各列はボール移動量であり、その交差する部分は出力値(トリミング座標の移動量)に対応している。表中の記号「NB」「NS」「ZO」「PS」「PB」は、それぞれ「負に大きな値」「負に小さな値」「ゼロ」「正に小さな値」「正に大きな値」を示している。例えば、1行3列目は、
「IF ボール位置がNB(左寄り)かつボール移動量がZO(ゼロ) THEN トリミング座標の移動量をPS(右に大きく動かす)」
というルールを示している。また、ファジィ制御を行うために、「NB」「NS」「ZO」「PS」「PB」に対応するファジィ集合を決定しておく。図7は、トリミング画面のボール位置に対するファジィ集合を示す図、図8は、ボール移動量に対するファジィ集合を示す図、図9は、トリミング座標の移動量に対するファジィ集合を示す図である。このように、ファジィ集合は、図7〜9のようなメンバシップ関数として表される。
【0042】
例えば、ボール位置のx座標が−90、x軸方向のボール移動量が15の場合の動作について説明する。図10は、ファジィ制御によるトリミング座標の移動量の算出方法を図式化した図である。図10を参照して、このボール位置と図7に示したメンバシップ関数とによりNS=0.6,ZO=0.4、ボール移動量と図8に示したメンバシップ関数とによりZO=0.8,PS=0.2を求める。また、表1に示したファジィルールは以下のとおりである。
「IF NS AND ZO THEN PS」
「IF NS AND PS THEN PS」
「IF ZO AND ZO THEN ZO」
「IF ZO AND PS THEN ZO」
これらにより、簡易化ファジィ推論法を用いた一般的なファジィ制御を行うと、メンバシップ関数の重心値は、以下の(6)式により求められる。
(0.4×0+0.6×50)/(0.4+0.6)=30 ・・・ (6)
したがって、トリミング座標を右方向に30だけ移動させればよいことになる。同様にして、y軸方向についてもトリミング座標の移動量を算出する。
【0043】
以上のように、実施例3のトリミング制御装置30によれば、ファジィ制御部33が、トリミング画面のボール位置及びボール移動量に基づいて、表1に示したファジィルールにより、トリミング座標の移動量を算出するようにした。この場合、表1に示したファジィルールは、ボール位置が画面中心付近であるときにはボール移動量によることなく、出力値であるトリミング座標の移動量が0近辺になるように設定されている。これにより、ボールがトリミング画面の端に移動すればするほど、ボールを画面の中心に戻すように制御を行うことができる。また、ボール位置の変動に過敏に反応することはなく、穏やかな制御を実現することができる。つまり、注目オブジェクトが細かい座標変動を起こした場合であっても、トリミング座標はこの変動に必要以上に追従することがない。したがって、カメラマンが持っているカメラワークのノウハウに近い形でトリミング制御を実現することが可能となる。
【実施例4】
【0044】
図11は、本発明によるトリミング制御装置の実施例4の構成及びフローチャートを示す図である。図11(a)を参照して、このトリミング制御装置40は、トリミング処理部41、注目オブジェクト座標検出部42、及びファジィ制御部43を備えている。このトリミング制御装置40と、図4に示した実施例3のトリミング制御装置30とを比較すると、トリミング処理部41とトリミング処理部31、及び注目オブジェクト座標検出部42と注目オブジェクト座標検出部32はそれぞれ同等の機能を有する点で同一である。これに対し、ファジィ制御部43は、オリジナル画面のオブジェクト位置、トリミング画面のオブジェクト位置、及びオブジェクト移動量を入力値とするが、ファジィ制御部33は、トリミング画面のオブジェクト位置、及びオブジェクト移動量を入力値とする点で相違する。
【0045】
表1に示した実施例3のファジィルールでは、ボールを画面の中心に位置させるようにトリミング処理が行われる。ところで、例えば、サッカー中継において画面の右方向に攻めている場合に、一般にカメラマンは、ボールを画面の左側に位置させるようなカメラワークをとる傾向がある。逆に画面の左方向に攻めている場合には、ボールを画面の右側に位置させるようなカメラワークをとる傾向がある。これは、ボールの進行方向の状況がよくわかる自然な前空き映像にするためである。実施例4では、オリジナル画面が、このようなカメラマンによるカメラワークを考慮した画面であることに着目し、オリジナル画面のボール位置、トリミング画面のボール位置、及びボール移動量を入力値としてファジィ制御を行うことにより、前空き映像を得るものである。
【0046】
具体的には、ファジィ制御部43は、注目オブジェクト座標検出部42から注目オブジェクト座標を入力し、当該注目オブジェクト座標をオリジナル画面のオブジェクト位置とすると共に、オブジェクトの移動量を算出する。また、前フレームのトリミングをそのままの位置で続けた場合の、現在のオブジェクト位置(トリミング画面のオブジェクト位置)を算出する。そして、ファジィ制御部43は、オリジナル画面のオブジェクト位置、トリミング画面のオブジェクト位置、及びオブジェクト移動量を入力値、トリミング座標の移動量を出力値とし、オリジナル画面におけるオブジェクト位置をトリミング画面におけるオブジェクト位置に反映すると共に、オブジェクトがトリミング画面の中心に移動するように設定されたファジィルールにより、トリミング座標を決定し、トリミング処理部31に出力する。
【0047】
図11(b)を参照して、トリミング制御装置40の動作について説明する。尚、トリミング制御装置40の動作の詳細については後述するが、ここでは動作の概要を説明する。トリミング制御装置40が、外部から映像及び参照データを入力すると、注目オブジェクト座標検出部42は、入力した参照データに基づいて注目オブジェクト座標を検出する(ステップS401)。ファジィ制御部43は、注目オブジェクト座標検出部42から注目オブジェクト座標を入力すると、当該注目オブジェクト座標をオリジナル画面のオブジェクト座標とし(ステップS402)、オブジェクトの移動量を算出し(ステップS403)、トリミング画面のオブジェクト位置を算出し(ステップS404)、ファジィ制御によりトリミング座標の移動量を算出し、トリミング座標を決定する(ステップS405)。トリミング処理部41は、入力した映像のオリジナル画面から、トリミング座標を中心とした所定の大きさの画面を切り出し、トリミング画面を生成する(ステップS406)。
【0048】
次に、ファジィ制御部43の動作について詳細に説明する。例えば、サッカー中継においてボールを注目オブジェクトとする場合、オリジナル画面のボール位置、トリミング画面のボール位置、及びボールの移動量を入力値として使用する。図12は、ファジィ制御部43の詳細な動作を示すフローチャート図である。このフローチャートは、図11(b)に示したフローチャートのステップ402〜405をより詳細に示したものである。このフローチャートと図6に示した実施例3のフローチャートとを比較すると、ステップ1201とステップ601、ステップ1202とステップ602、ステップ1204とステップ604、ステップ1205とステップ605、ステップ1207とステップ607、及び、ステップ1208とステップ608は同じ処理である点で同一である。これに対し、ステップ1203とステップ603、及びステップ1206とステップ606は異なる処理である点で相違する。すなわち、ステップ1203において、ファジィ制御部43は、注目オブジェクト座標検出部42が参照データ(メタデータ)に基づいて検出したボール位置(xa[n],ya[n])を入力し、当該ボール位置をオリジナル画面のボール位置として、ファジィ制御のための入力値として使用する。図13に、オリジナル画面のボール位置に対するファジィ集合を示す。また、ステップ1206において、ファジィ制御部43は、ファジィ推論から制御量であるトリミング座標の移動量を(7)式のように求める。
(Δx[n],Δy[n])=Fuzzy{(xa[n],ya[n]),(xbt[n],ybt[n]),(xbm[n],ybm[n])} ・・・ (7)
【0049】
表2は、図12に示したステップ1206のファジィ推論による制御量(オブジェクト座標の移動量)の算出のために用いるファジィルールである。このファジィルールと表1に示した実施例3のファジィルールとを比較すると、表2のファジィルールは、オリジナル画面のボール位置も入力値として使用している点で相違する。
【0050】
【表2】
【0051】
以上のように、実施例4のトリミング制御装置40によれば、ファジィ制御部43が、オリジナル画面のボール位置、トリミング画面のボール位置及びボール移動量に基づいて、表2に示したファジィルールにより、トリミング座標の移動量を算出するようにした。この場合、表2に示したファジィルールは、ボールがオリジナル画面の左側に位置するときにはトリミング画面においても左側に位置するように、また、ボールがオリジナル画面の右側に位置するときにはトリミング画面においても右側に位置するように設定されている。これにより、図14に示すように、オリジナル画面に対応してボールの進行方向に対してスペースを空けることができ、ボールの進行方向の状況がよくわかり、自然な前空き映像を実現することが可能となる。つまり、カメラマンによるカメラワークを考慮したトリミング画面を生成することが可能となる。
【実施例5】
【0052】
図15は、本発明によるトリミング制御装置の実施例5の構成及びフローチャートを示す図である。図15(a)を参照して、このトリミング制御装置50は、トリミング処理部51、注目オブジェクト座標検出部52、ファジィ制御部53、及びオフセット量付加部54を備えている。このトリミング制御装置50と図4に示した実施例3のトリミング制御装置30とを比較すると、トリミング処理部51とトリミング処理部41、及びファジィ制御部33とファジィ制御部53はそれぞれ同等の機能を有する点で同一である。これに対し、注目オブジェクト座標検出部52は、注目オブジェクト座標をファジィ制御部53だけでなくオフセット量付加部54にも出力し、オフセット量付加部54は、ファジィ制御部53からトリミング座標を、注目オブジェクト座標検出部52から注目オブジェクト座標をそれぞれ入力し、注目オブジェクト座標に基づいてオフセット量を決定し、トリミング座標にオフセット量を加えて新たなトリミング座標とし、当該新たなトリミング座標をトリミング処理部51に出力する点で相違する。このオフセット量付加部54は、図2に示した実施例2のオフセット量付加部23と同等の機能を有する。
【0053】
図15(b)を参照して、トリミング制御装置50の動作について説明する。トリミング制御装置50が、外部から映像及び参照データを入力すると、注目オブジェクト座標検出部52は、入力した参照データに基づいて注目オブジェクト座標を検出する(ステップS501)。ファジィ制御部53は、注目オブジェクト座標検出部52から注目オブジェクト座標を入力すると、オブジェクトの移動量を算出し(ステップS502)、トリミング画面のオブジェクト位置を算出し(ステップS503)、ファジィ制御によりトリミング座標の移動量を算出し、トリミング座標を決定する(ステップS504)。オフセット量付加部54は、注目オブジェクト座標検出部52から注目オブジェクト座標を、ファジィ制御部53からトリミング座標をそれぞれ入力すると、注目オブジェクト座標とオリジナル画面の中心座標とに基づいて注目オブジェクトの位置を検出し、その位置に基づいてオフセット量を決定し、トリミング座標にオフセット量を加えて新たなトリミング座標を決定する(ステップS506)。トリミング処理部51は、入力した映像のオリジナル画面から、新たなトリミング座標を中心とした所定の大きさのトリミング画面を切り出して生成する(ステップS507)。
【0054】
以上のように、実施例5のトリミング制御装置50によれば、ファジィ制御部53が、トリミング画面のボール位置及びボール移動量に基づいて、表1に示したファジィルールにより、トリミング座標を決定し、オフセット量付加部54が、オリジナル画面の中心からの注目オブジェクトの位置に応じたオフセット量を決定し、ファジィ制御部53により決定されたトリミング座標にオフセット量を加えた座標を新たなトリミング座標に決定するようにした。これにより、前述した実施例2及び実施例3と同等の効果を得ることができる。
【0055】
尚、前述のファジィ制御部53は、実施例3に示したファジィ制御部33と同等の機能を有するようにしたが、実施例4に示したファジィ制御部43と同等の機能を有するようにしてもよい。この場合、実施例2の効果に加えて実施例4と同等の効果を得ることができる。また、ファジィ制御部53の代わりに、実施例1に示した平滑化処理部13を有するようにしてもよい。この場合、実施例2の効果に加えて実施例1と同等の効果を得ることができる。
【0056】
以上、実施例1〜5により本発明を説明したが、本発明は上記実施例1〜5に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。例えば、トリミング制御装置10〜50は、放送波により、またはインターネット網を介して、映像及び参照データを受信(入力)するようにしてもよい。この場合、映像及び参照データを放送波により受信するようにしてもよいし、インターネット網を介して受信するようにしてもよい。また、映像を放送波により受信し、参照データをインターネット網を介して受信するようにしてよいし、映像をインターネット網を介して受信し、参照データを放送波により受信するようにしてもよい。
【0057】
また、サッカー中継の場合に、ハイビジョンカメラのような高精度なカメラをサッカーフィールド全体が映るように1台のみ(または両サイドから2台)設置し、前述のトリミング制御装置10〜50が、ハイビジョンカメラにより撮影されたサッカーフィールド全体の映像を入力し、トリミング処理部11が、従来のパン・チルト、または複数のカメラによるスイッチングと同等の機能を、トリミング処理により実現するようにしてもよい。ボール及び選手の追跡は、正規化相関トラッキング等の画像処理または人間による補正等により行い、前述の実施例1〜5のトリミング処理を行うことにより、注目オブジェクトが激しく移動した場合であっても、トリミング座標が急変動しないようにすることができる。
【0058】
また、注目オブジェクトをサッカー中継のボールとした場合に、前述のトリミング制御装置10〜50の注目オブジェクト座標検出部12〜52は、例えば正規化相関トラッキング等の画像処理技術によって注目オブジェクト座標を検出するようにした。しかし、予め送信側が、ボール位置座標(注目オブジェクト座標)を検出し、当該注目オブジェクト座標をフレーム毎のデータとして番組メタデータに格納し、当該注目オブジェクト座標を含む番組メタデータを、放送波やインターネット網等を通じて受信側のトリミング制御装置10〜50へ伝送し、注目オブジェクト座標検出部12〜52が、伝送された番組メタデータから注目オブジェクト座標を抽出するようにしてもよい。
【0059】
また、前述のトリミング制御装置10〜50のトリミング処理部11〜51は、入力した映像のオリジナル画面から、トリミング座標を中心とした所定の大きさの画面を切り出し、トリミング画面を生成し、当該トリミング画面をトリミング映像として外部に出力するようにしたが、オリジナル画面から切り出した画面を拡大し、当該拡大した画面をトリミング画面としてもよいし、切り出した画面をそのままトリミング画面としてもよい。
【0060】
尚、前述のトリミング制御装置10〜50は、CPU、RAM等の揮発性の記憶媒体、ROM等の不揮発性の記憶媒体、キーボード等の入力装置、データを表示する表示装置、及び外部の装置と通信するためのインターフェースを備えたコンピュータ装置によってそれぞれ構成されるようにしてもよい。この場合、トリミング制御装置10〜50に備えたトリミング処理部11〜51,注目オブジェクト座標検出部12〜52,平滑化処理部13,オフセット量付加部23,54、ファジィ制御部33,43,53の各機能は、当該機能を記述したプログラムをCPUに実行させることによりそれぞれ実現される。また、これらのプログラムは、磁気ディスク(フロッピィーディスク、ハードディスク等)、光ディスク(CD−ROM、DVD等)、半導体メモリ等の記憶媒体に格納して頒布することもできる。
【符号の説明】
【0061】
10,20,30,40,50 トリミング制御装置
11,21,31,41,51 トリミング処理部
12,22,32,42,52 注目オブジェクト座標検出部
13 平滑化処理部
23,54 オフセット量付加部
33,43,53 ファジィ制御部
【技術分野】
【0001】
本発明は、トリミング制御技術に関し、特に、番組用に制作された映像コンテンツ等を携帯端末等の小さい画面で視聴する場合に、視認性を損なうことがないトリミング制御技術に関する。
【背景技術】
【0002】
従来、テレビ放送を受信することが可能な携帯電話やPDA(Personal Data Assistants)等の携帯端末が普及している。このような携帯端末は、動画像を表示する画面の大きさや伝送容量に制限があるため、例えば、携帯端末向けデジタル放送(1セグ放送)に採用されたH.264の解像度の場合、番組によっては視認性が著しく悪くなることが想定される。
【0003】
この問題を解決する方法として、動画像の注目領域を拡大表示することが考えられる。しかし、携帯端末では、視認性を損なわないようにトリミング映像を最適に表示することは困難である。
【0004】
一方、画像の注目領域を表示するためのトリミング制御について、様々な技術が開示されている。例えば、特許文献1のトリミング装置は、トリミングの対象となる画像の注目領域を算出してオブジェクト指標を求め、当該オブジェクト指標に基づいてトリミング手法を選択し、当該選択したトリミング手法でトリミング処理を行う。これにより、画像のトリミングを自動的かつ効果的に行うことができる。また、動画像の手ぶれを補正する技術として、例えば、特許文献2の手ブレ制御装置は、映像フィールドの時間的な画像の動きを検出して手ブレ量を算出し、決定した切り出し枠を手ブレ量に応じて移動させることにより、手ブレ補正を実現する。この場合、手ブレ量は、映像フィールドを4つのブロックに分割し、ブロック間を比較し代表的マッチング法を用いて算出される。
【先行技術文献】
【特許文献】
【0005】
【特許文献1】特開2004−228995号公報
【特許文献2】特開平6−46316号公報
【発明の概要】
【発明が解決しようとする課題】
【0006】
しかしながら、前述した技術は、画像を見る者の観点で画像が見やすくなるように、トリミング画面の中心座標(以下、トリミング座標という。)や、手ブレ補正の際に表示画面の中心座標を求めることはしていない。すなわち、携帯端末に画像を出力する場合、視認性を考慮した処理が行われていないため、必ずしも見やすい画像が提供されているとは限らない。
【0007】
また、従来、放送のデジタル化や多チャンネル化が進み、コンテンツ不足が懸念されている。このため、各放送局や番組制作会社は、限られた資源を利用して番組を制作しなければならず、新たな映像生成技術が要望されていた。
【0008】
そこで、本発明は、かかる課題を解決するためになされたものであり、その目的は、表示画面が小さい端末等にコンテンツを表示する場合、自然なカメラワークを実現し、視認性を損なわない画面を表示可能なトリミング制御装置及びトリミング制御プログラムを提供することにある。
【課題を解決するための手段】
【0009】
本発明におけるトリミング制御装置は、注目するオブジェクトの座標を検出する注目オブジェクト座標検出部と、前記検出されたオブジェクト座標に基づいて、トリミング座標を決定するトリミング座標決定部と、トリミングにより、前記決定されたトリミング座標を中心に、入力した映像のオリジナル画面から一部の画面を切り出し、トリミング画面を生成し、該トリミング画面の映像を出力するトリミング処理部と、を備えたことを特徴とする。
【0010】
また、本発明におけるトリミング制御装置は、前記トリミング座標決定部が、検出されたオブジェクト座標を平滑化し、該平滑化したオブジェクト座標をトリミング座標に決定することを特徴とする。オブジェクト座標が小刻みに変動している場合、そのままトリミング処理を行ったのではトリミング画面は見づらくなる。そこで、オブジェクト座標を平滑化し、トリミング座標を決定するようにした。これにより、トリミング画面は小刻みに変動することがなく見易くなる。この場合、平滑化を、移動平均によるものとすることが好適である。また、平滑化を、ローパスフィルタを用いた積分処理によるものとすることが好適である。
【0011】
また、本発明におけるトリミング制御装置は、前記トリミング座標決定部が、検出されたオブジェクト座標に基づいてオフセット量を決定し、該オフセット量をオブジェクト座標に付加した座標を、トリミング座標に決定することを特徴とする。
【0012】
また、本発明におけるトリミング制御装置は、前記トリミング座標決定部が、検出されたオブジェクト座標に基づいて、トリミング画面におけるオブジェクト位置及びオブジェクト移動量を算出し、該トリミング画面のオブジェクト位置及びオブジェクト移動量を入力値とし、トリミング座標の移動量を出力値としたファジィ制御により、トリミング座標を決定することを特徴とする。
【0013】
また、本発明におけるトリミング制御装置は、前記トリミング座標決定部が、検出されたオブジェクト座標に基づいて、トリミング画面におけるオブジェクト位置及びオブジェクト移動量を算出し、前記オブジェクト座標をオリジナル画面のオブジェクト座標とし、該オリジナル画面のオブジェクト座標、トリミング画面のオブジェクト位置、及びオブジェクト移動量を入力値とし、トリミング座標の移動量を出力値としたファジィ制御により、トリミング座標を決定することを特徴とする。
【0014】
また、本発明におけるトリミング制御装置は、さらに、前記注目オブジェクト座標検出部により検出されたオブジェクト座標に基づいてオフセット量を決定し、前記トリミング座標決定部により決定されたトリミング座標に前記決定したオフセット量を付加した座標を、新たなトリミング座標に決定するオフセット量付加部を備え、前記トリミング処理部が、前記決定された新たなトリミング座標を中心に、入力した映像のオリジナル画面から一部の画面を切り出し、トリミング画面を生成し、該トリミング画面の映像を出力することを特徴とする。
【0015】
また、本発明におけるトリミング制御装置は、前記注目オブジェクト座標検出部は、注目するオブジェクト座標を含むメタデータを受信し、該メタデータから注目するオブジェクト座標を検出することを特徴とする。
【0016】
さらに、本発明におけるトリミングプログラムは、トリミング制御装置を構成するコンピュータに、注目するオブジェクトの座標を検出する処理と、前記検出されたオブジェクト座標に基づいてトリミング座標を決定する処理と、トリミングにより、前記決定されたトリミング座標を中心に、入力した映像のオリジナル画面から一部の画面を切り出し、トリミング画面を生成し、該トリミング画面の映像を出力する処理と、を実行させることを特徴とする。
【発明の効果】
【0017】
一般に、番組撮影においてカメラマンは、被写体であるオブジェクトの向き、動く方向、周囲の環境等を総合的に判断し、ズームやパン・チルト等のカメラワークを決定する。例えば、被写体を必ず中心におく構図で撮影された映像よりも、被写体の向きや動く方向によりその前を空けるような構図(図14を参照)で撮影された映像の方が自然な感じを受ける場合が多い。本発明は、注目するオブジェクト座標をそのままトリミング座標として用いるのではなく、注目するオブジェクトの進行方向等を考慮してトリミング座標を決定し、当該トリミング座標を用いてトリミング処理を行う。これにより、表示画面が小さい端末等にコンテンツを表示する場合、自然なカメラワークを実現し、視認性を損なわない画面を表示することが可能となり、トリミング映像は見やすいものとなる。
【図面の簡単な説明】
【0018】
【図1】本発明によるトリミング制御装置の実施例1の構成及びフローチャートを示す図である。
【図2】本発明によるトリミング制御装置の実施例2の構成及びフローチャートを示す図である。
【図3】実施例2のオフセット処理を説明する図である。
【図4】本発明によるトリミング制御装置の実施例3の構成及びフローチャートを示す図である。
【図5】実施例3のファジィ制御を説明する図である。
【図6】実施例3の詳細な動作を示すフローチャート図である。
【図7】トリミング画面のボール位置に対するファジィ集合を示す図である。
【図8】ボール移動量に対するファジィ集合を示す図である。
【図9】トリミング座標の移動量に対するファジィ集合を示す図である。
【図10】ファジィ制御によるトリミング座標の移動量の算出方法を図式化した図である。
【図11】本発明によるトリミング制御装置の実施例4の構成及びフローチャートを示す図である。
【図12】実施例4の詳細な動作を示すフローチャート図である。
【図13】オリジナル画面のボール位置に対するファジィ集合を示す図である。
【図14】実施例4の前空き画面を説明する図である。
【図15】本発明によるトリミング制御装置の実施例5の構成及びフローチャートを示す図である。
【発明を実施するための形態】
【0019】
以下、本発明の実施の形態について図面を用いて詳細に説明する。本発明の実施の形態によるトリミング制御装置は、番組用に制作された映像コンテンツ等の映像を入力し、この映像のオリジナル画面からトリミング画面を切り出して生成し、出力するものである。このトリミング画面を生成する際に、オリジナル画面から対象となる注目オブジェクト座標を検出し、トリミング画面の中心座標であるトリミング座標を決定する。ここで、本発明は、トリミング画面を映像として携帯端末等に表示した場合に、その視認性を損なわないトリミング映像とするためのトリミング座標を如何に決定するかが特徴となる。
【0020】
本発明の実施例1は、対象となるオブジェクト座標の細かな変動を平滑化するものであり、図1に示されている。実施例2は、オブジェクト座標にオフセットを加えた座標をトリミング座標とするものであり、図2及び図3に示されている。実施例3は、ファジィ制御によりトリミング座標を求めるものであり、図4から図10に示されている。実施例4は、ファジィ制御により前空き画面を有するトリミング座標を求めるものであり、図11から図14に示されている。実施例5は、ファジィ制御により求めたトリミング座標に対してオフセットを加えるものであり、図15に示されている。以下、実施例1から5について詳細に説明する。
【実施例1】
【0021】
図1は、本発明によるトリミング制御装置の実施例1の構成及びフローチャートを示す図である。図1(a)を参照して、このトリミング制御装置10は、トリミング処理部11、注目オブジェクト座標検出部12、及び平滑化処理部13を備えている。トリミング処理部11は、外部から映像を、平滑化処理部13からトリミング座標をそれぞれ入力し、入力した映像のオリジナル画面から、トリミング座標を中心とした所定の大きさの画面を切り出し、トリミング画面を生成し、当該トリミング画面をトリミング映像として外部に出力する。つまり、トリミング処理部11は、オリジナル画面のシーンをフレーム毎に再構成し、再構成したシーンを例えばディスプレイに表示する。注目オブジェクト座標検出部12は、外部から参照データ(メタデータ)を入力し、オリジナル画面中の注目するオブジェトの座標(注目オブジェクト座標)を検出し、当該注目オブジェクト座標を平滑化処理部13に出力する。この場合、注目オブジェクト座標検出部12は、外部から映像そのものを入力し、例えば正規化相関トラッキングによるパターンマッチング等の画像処理技術により、注目オブジェクト座標を検出するようにしてもよい。平滑化処理部13は、注目オブジェクト座標検出部12から注目オブジェクト座標を入力し、フレーム毎の注目オブジェクト座標を図示しない記憶手段に記憶する。そして、過去数フレーム分の注目オブジェクト座標を記憶手段から読み出し、移動平均を求め、その移動平均の値をトリミング座標としてトリミング処理部11に出力する。
【0022】
図1(b)を参照して、トリミング制御装置10の動作について説明する。トリミング制御装置10が、外部から映像及び参照データを入力すると、注目オブジェクト座標検出部12は、入力した参照データに基づいて注目オブジェクト座標を検出する(ステップS101)。平滑化処理部13は、注目オブジェクト座標検出部12から注目オブジェクト座標を入力すると、所定フレーム数のオブジェクト座標を記憶する(ステップS102)。そして、平滑化処理部13は、記憶したオブジェクト座標に基づいて移動平均を算出し(ステップS103)、この移動平均の値をトリミング座標に決定する(ステップS104)。トリミング処理部11は、入力した映像のオリジナル画面から、トリミング座標を中心とした所定の大きさの画面を切り出し、トリミング画面を生成する(ステップS105)。
【0023】
以上のように、実施例1のトリミング制御装置10によれば、平滑化処理部13が、過去数フレーム分の注目オブジェクト座標の移動平均値をトリミング座標として決定するようにした。これにより、注目オブジェクトが細かい座標変動を起こした場合であっても、トリミング座標はこの変動に対して必要以上に追従することがない。
【0024】
尚、前述の平滑化処理部13は、過去数フレーム分の注目オブジェクト座標の移動平均値をトリミング座標として出力するようにしたが、積分回路(ローパスフィルタ)を用いてトリミング座標を求め出力するようにしてもよい。これにより、注目オブジェクトの座標変動により生じる高周波成分を取り除くことができる。
【実施例2】
【0025】
図2は、本発明によるトリミング制御装置の実施例2の構成及びフローチャートを示す図である。図2(a)を参照して、このトリミング制御装置20は、トリミング処理部21、注目オブジェクト座標検出部22、及びオフセット量付加部23を備えている。トリミング処理部21は、外部から映像を、オフセット量付加部23からトリミング座標をそれぞれ入力し、入力した映像のオリジナル画面から、トリミング座標を中心とした所定の大きさの画面を切り出し、トリミング画面を生成し、当該トリミング画面をトリミング映像として外部に出力する。注目オブジェクト座標検出部22は、図1に示した実施例1の注目オブジェクト座標検出部12と同様に、注目オブジェクト座標を検出し、当該注目オブジェクト座標をオフセット量付加部23に出力する。オフセット量付加部23は、注目オブジェクト座標検出部22から注目オブジェクト座標を入力し、注目オブジェクト座標とオリジナル画面の中心座標とを比較し、オリジナル画面の中心からの位置(距離及び方向)を求め、この中心からの位置に比例したオフセット量を決定する。この場合、予め設定された値をオフセット量として決定してもよい。そして、オブジェクト座標にオフセット量を加えてトリミング座標とし、当該トリミング座標をトリミング処理部21に出力する。
【0026】
図3は、オリジナル画面中の注目オブジェクトをボールとし、ボール自体がオリジナル画面の中心から左側に位置している場合の例である。図3に示すように、オフセット量付加部23は、例えば、トリミング処理を行うときもボールがトリミング画面の左側に位置するように、オフセット量を決定する。
【0027】
図2(b)を参照して、トリミング制御装置20の動作について説明する。トリミング制御装置20が、外部から映像及び参照データを入力すると、注目オブジェクト座標検出部22は、入力した参照データに基づいて注目オブジェクト座標を検出する(ステップS201)。オフセット量付加部23は、注目オブジェクト座標検出部22から注目オブジェクト座標を入力すると、注目オブジェクト座標とオリジナル画面の中心座標とに基づいて注目オブジェクトの位置を検出し(ステップS202)、その位置に基づいてオフセット量を決定し(ステップS203)、注目オブジェクト座標にオフセット量を加えた座標を、トリミング座標に決定する(ステップS204)。トリミング処理部21は、入力した映像のオリジナル画面から、トリミング座標を中心とした所定の大きさの画面を切り出し、トリミング画面を生成する(ステップS205)。
【0028】
以上のように、実施例2のトリミング制御装置20によれば、オフセット量付加部23が、注目オブジェクト座標とオリジナル画面の中心座標とを比較し、オリジナル画面の中心からの注目オブジェクトの位置に応じたオフセット量を決定し、オブジェクト座標にオフセット量を加えた座標をトリミング座標に決定するようにした。これにより、オリジナル画面における注目オブジェクトの位置を反映したトリミング画面を生成することができる。つまり、オリジナル映像におけるカメラワークと同様なカメラワークを実現し、視認性を損なわないトリミング映像を実現することが可能となる。
【0029】
尚、前述のオフセット量付加部23は、注目オブジェクト座標とオリジナル画面の中心座標とを比較し、オリジナル画面の中心からの注目オブジェクトの位置に応じてオフセット量を決定するようにしたが、ボールの移動方向及び移動量を予測してオフセット量を決定するようにしてもよい。具体的には、ボール自体がオリジナル画面の中心から左側に位置している場合に、オフセット量付加部23は、前フレームのボールの位置と現フレームのボールの位置との間の差分を求め、今後ボールがどの方向に移動するか及び移動量を予測する。ボールがさらに左側に移動するものと予測できる場合には、トリミング処理を行うときにボールがトリミング画面の中央に位置するように、オフセット量を決定する。
【0030】
また、ボールを支配しているチームの情報を用いて、攻撃と防御を加味したオフセット量を決定するようにしてもよい。具体的には、オフセット量付加部23は、外部から入力した参照データから、ボールを支配しているチームの識別情報を抽出し、攻撃側のチームがボールを支配していると判断した場合は、守備側のチームの方向にトリミング画面幅の1/4程度のオフセット量を決定する。これにより、攻撃方向にスペース(前空き)を有するトリミング画面を生成することができる。
【実施例3】
【0031】
図4は、本発明によるトリミング制御装置の実施例3の構成及びフローチャートを示す図である。図4(a)を参照して、このトリミング制御装置30は、トリミング処理部31、注目オブジェクト座標検出部32、及びファジィ制御部33を備えている。トリミング処理部31は、外部から映像を、ファジィ制御部33からトリミング座標をそれぞれ入力し、入力した映像のオリジナル画面から、トリミング座標を中心とした所定の大きさの画面を切り出し、トリミング画面を生成し、当該トリミング画面をトリミング映像として外部に出力する。注目オブジェクト座標検出部32は、図1に示した実施例1の注目オブジェクト座標検出部12と同様に、注目オブジェクト座標を検出し、当該注目オブジェクト座標をファジィ制御部33に出力する。ファジィ制御部33は、注目オブジェクト座標検出部32から注目オブジェクト座標を入力し、オブジェクトの移動量を算出する。また、前フレームのトリミングをそのままの位置で続けた場合の、現在のオブジェクト位置(トリミング画面のオブジェクト位置)を算出する。そして、ファジィ制御部33は、トリミング画面のオブジェクト位置及びオブジェクト移動量を入力値、トリミング座標の移動量を出力値とし、オブジェクトがトリミング画面の中心に移動するように設定されたファジィルールにより、トリミング座標を決定し、トリミング処理部31に出力する。
【0032】
図4(b)を参照して、トリミング制御装置30の動作について説明する。尚、トリミング制御装置30の動作の詳細については後述するが、ここでは動作の概要を説明する。トリミング制御装置30が、外部から映像及び参照データを入力すると、注目オブジェクト座標検出部32は、入力した参照データに基づいて注目オブジェクト座標を検出する(ステップS301)。ファジィ制御部33は、注目オブジェクト座標検出部32から注目オブジェクト座標を入力すると、オブジェクトの移動量を算出し(ステップS302)、トリミング画面のオブジェクト位置を算出し(ステップS303)、ファジィ制御によりトリミング座標の移動量を算出し、トリミング座標を決定する(ステップS304)。トリミング処理部31は、入力した映像のオリジナル画面から、トリミング座標を中心とした所定の大きさの画面を切り出し、トリミング画面を生成する(ステップS305)。
【0033】
次に、ファジィ制御部33の動作について詳細に説明する。例えば、サッカー中継においてボールを注目オブジェクトとする場合、ボールの現在座標(トリミング画面のボール位置)、及びボールの移動量を入力値として使用する。図5を参照して、オリジナル画面の左上を起点に、水平方向をx軸、垂直方向をy軸とし、オリジナル画面中のボールを中心とした枠内の画面をトリミング画面とする。図5の上部に示した画面は、n−1フレームにおけるオリジナル画面及びトリミング画面であり、下部に示した画面は、nフレームにおけるオリジナル画面及びトリミング画面である。
【0034】
いま、n−tフレームのオリジナル画面において、ボール位置を(xa[n−1],ya[n−1])、トリミングする中心座標を(xt[n−1],yt[n−1])とし、nフレームのオリジナル画面において、ボール位置を(xa[n],ya[n])、トリミングする中心座標を(xt[n],yt[n])とする。この場合、トリミング後の画面(トリミング画面)において、ボール位置を(xbt[n],ybt[n])とすると、トリミング座標を起点(0,0)として(1)式となる。
(xbt[n],ybt[n])=(xa[n]−xt[n−1],ya[n]−yt[n−1]) ・・・ (1)
また、ボール移動量を(xbm[n],ybm[n])とすると、(2)式となる。
(xbm[n],ybm[n])=(xa[n]−xa[n−1],ya[n]−ya[n−1]) ・・・ (2)
【0035】
ファジィ制御の入力値として、前フレームのトリミングをそのままの位置で続けたときの現在のボール位置(式(1)を参照)、及び、ボール移動量(式(2)を参照)を使用し、出力値としてトリミング座標の移動量(Δx[n],Δy[n])を求める。したがって、実際にトリミングするべき中心座標は(3)式となる。
(xt[n],yt[n])=(xt[n−1]+Δx[n],yt[n−1]+Δy[n]) ・・・ (3)
尚、トリミング座標の初期値を(4)式とする。
(xt[0],yt[0])=(xa[0],ya[0]) ・・・ (4)
【0036】
図6は、ファジィ制御部33の詳細な動作を示すフローチャート図である。このフローチャートは、図4(b)に示したフローチャートのステップ302〜304をより詳細に示したものである。図6を参照して、トリミング処理部31に最初のフレーム(n=0)のトリミング処理を行わせるために、ファジィ制御部33は、ボール座標(xa[0],xa[0])をトリミング座標として出力する(ステップS601)。つまり、トリミング座標は前述した(4)式のとおりである。そして、次のフレーム(n=1)に進む(ステップS602)。
【0037】
ファジィ制御部33は、注目オブジェクト座標検出部32が参照データ(メタデータ)に基づいて検出したボール位置(xa[n],ya[n])を入力する(ステップS603)。また、前フレームにおけるトリミング画面のボール位置((1)式を参照)、及びボール移動量((2)式を参照)をそれぞれ求め(ステップS604,605)、ファジィ推論から制御量であるトリミング座標の移動量を(5)式のように求める(ステップS606)。
(Δx[n],Δy[n])=Fuzzy{(xbt[n],ybt[n]),(xbm[n],ybm[n])} ・・・ (5)
また、前フレームのトリミング座標に制御量を加えた座標をトリミング座標として、トリミング処理部31に出力する(ステップS607)。そして、次のフレーム(n←n+1)に進み(ステップS608)、ステップ603に移行する。このようにして、フレーム毎にステップ603からステップ608の各処理を実行する。
【0038】
例えば、解像度がVGA(Video Graphics Array)(640×480)の動画映像をQVGA(Quarter VGA)(320×240)サイズでトリミングする場合、トリミング後のQVGA画面でのボール位置は、−160≦xbt≦160,−120≦ybt≦120の範囲の値をとり、ボール移動量は、−640≦xbm≦640,−480≦ybm≦480の範囲の値をとる。
【0039】
次に、図6に示したステップ606のファジィ推論による制御量(オブジェクト座標の移動量)の算出方法について詳細に説明する。一般に、ファジィ制御は、複数のIF−THENルールを用いて行われる。このファジィルールを表1に示す。
【0040】
【表1】
【0041】
表1において、各行はボール位置、各列はボール移動量であり、その交差する部分は出力値(トリミング座標の移動量)に対応している。表中の記号「NB」「NS」「ZO」「PS」「PB」は、それぞれ「負に大きな値」「負に小さな値」「ゼロ」「正に小さな値」「正に大きな値」を示している。例えば、1行3列目は、
「IF ボール位置がNB(左寄り)かつボール移動量がZO(ゼロ) THEN トリミング座標の移動量をPS(右に大きく動かす)」
というルールを示している。また、ファジィ制御を行うために、「NB」「NS」「ZO」「PS」「PB」に対応するファジィ集合を決定しておく。図7は、トリミング画面のボール位置に対するファジィ集合を示す図、図8は、ボール移動量に対するファジィ集合を示す図、図9は、トリミング座標の移動量に対するファジィ集合を示す図である。このように、ファジィ集合は、図7〜9のようなメンバシップ関数として表される。
【0042】
例えば、ボール位置のx座標が−90、x軸方向のボール移動量が15の場合の動作について説明する。図10は、ファジィ制御によるトリミング座標の移動量の算出方法を図式化した図である。図10を参照して、このボール位置と図7に示したメンバシップ関数とによりNS=0.6,ZO=0.4、ボール移動量と図8に示したメンバシップ関数とによりZO=0.8,PS=0.2を求める。また、表1に示したファジィルールは以下のとおりである。
「IF NS AND ZO THEN PS」
「IF NS AND PS THEN PS」
「IF ZO AND ZO THEN ZO」
「IF ZO AND PS THEN ZO」
これらにより、簡易化ファジィ推論法を用いた一般的なファジィ制御を行うと、メンバシップ関数の重心値は、以下の(6)式により求められる。
(0.4×0+0.6×50)/(0.4+0.6)=30 ・・・ (6)
したがって、トリミング座標を右方向に30だけ移動させればよいことになる。同様にして、y軸方向についてもトリミング座標の移動量を算出する。
【0043】
以上のように、実施例3のトリミング制御装置30によれば、ファジィ制御部33が、トリミング画面のボール位置及びボール移動量に基づいて、表1に示したファジィルールにより、トリミング座標の移動量を算出するようにした。この場合、表1に示したファジィルールは、ボール位置が画面中心付近であるときにはボール移動量によることなく、出力値であるトリミング座標の移動量が0近辺になるように設定されている。これにより、ボールがトリミング画面の端に移動すればするほど、ボールを画面の中心に戻すように制御を行うことができる。また、ボール位置の変動に過敏に反応することはなく、穏やかな制御を実現することができる。つまり、注目オブジェクトが細かい座標変動を起こした場合であっても、トリミング座標はこの変動に必要以上に追従することがない。したがって、カメラマンが持っているカメラワークのノウハウに近い形でトリミング制御を実現することが可能となる。
【実施例4】
【0044】
図11は、本発明によるトリミング制御装置の実施例4の構成及びフローチャートを示す図である。図11(a)を参照して、このトリミング制御装置40は、トリミング処理部41、注目オブジェクト座標検出部42、及びファジィ制御部43を備えている。このトリミング制御装置40と、図4に示した実施例3のトリミング制御装置30とを比較すると、トリミング処理部41とトリミング処理部31、及び注目オブジェクト座標検出部42と注目オブジェクト座標検出部32はそれぞれ同等の機能を有する点で同一である。これに対し、ファジィ制御部43は、オリジナル画面のオブジェクト位置、トリミング画面のオブジェクト位置、及びオブジェクト移動量を入力値とするが、ファジィ制御部33は、トリミング画面のオブジェクト位置、及びオブジェクト移動量を入力値とする点で相違する。
【0045】
表1に示した実施例3のファジィルールでは、ボールを画面の中心に位置させるようにトリミング処理が行われる。ところで、例えば、サッカー中継において画面の右方向に攻めている場合に、一般にカメラマンは、ボールを画面の左側に位置させるようなカメラワークをとる傾向がある。逆に画面の左方向に攻めている場合には、ボールを画面の右側に位置させるようなカメラワークをとる傾向がある。これは、ボールの進行方向の状況がよくわかる自然な前空き映像にするためである。実施例4では、オリジナル画面が、このようなカメラマンによるカメラワークを考慮した画面であることに着目し、オリジナル画面のボール位置、トリミング画面のボール位置、及びボール移動量を入力値としてファジィ制御を行うことにより、前空き映像を得るものである。
【0046】
具体的には、ファジィ制御部43は、注目オブジェクト座標検出部42から注目オブジェクト座標を入力し、当該注目オブジェクト座標をオリジナル画面のオブジェクト位置とすると共に、オブジェクトの移動量を算出する。また、前フレームのトリミングをそのままの位置で続けた場合の、現在のオブジェクト位置(トリミング画面のオブジェクト位置)を算出する。そして、ファジィ制御部43は、オリジナル画面のオブジェクト位置、トリミング画面のオブジェクト位置、及びオブジェクト移動量を入力値、トリミング座標の移動量を出力値とし、オリジナル画面におけるオブジェクト位置をトリミング画面におけるオブジェクト位置に反映すると共に、オブジェクトがトリミング画面の中心に移動するように設定されたファジィルールにより、トリミング座標を決定し、トリミング処理部31に出力する。
【0047】
図11(b)を参照して、トリミング制御装置40の動作について説明する。尚、トリミング制御装置40の動作の詳細については後述するが、ここでは動作の概要を説明する。トリミング制御装置40が、外部から映像及び参照データを入力すると、注目オブジェクト座標検出部42は、入力した参照データに基づいて注目オブジェクト座標を検出する(ステップS401)。ファジィ制御部43は、注目オブジェクト座標検出部42から注目オブジェクト座標を入力すると、当該注目オブジェクト座標をオリジナル画面のオブジェクト座標とし(ステップS402)、オブジェクトの移動量を算出し(ステップS403)、トリミング画面のオブジェクト位置を算出し(ステップS404)、ファジィ制御によりトリミング座標の移動量を算出し、トリミング座標を決定する(ステップS405)。トリミング処理部41は、入力した映像のオリジナル画面から、トリミング座標を中心とした所定の大きさの画面を切り出し、トリミング画面を生成する(ステップS406)。
【0048】
次に、ファジィ制御部43の動作について詳細に説明する。例えば、サッカー中継においてボールを注目オブジェクトとする場合、オリジナル画面のボール位置、トリミング画面のボール位置、及びボールの移動量を入力値として使用する。図12は、ファジィ制御部43の詳細な動作を示すフローチャート図である。このフローチャートは、図11(b)に示したフローチャートのステップ402〜405をより詳細に示したものである。このフローチャートと図6に示した実施例3のフローチャートとを比較すると、ステップ1201とステップ601、ステップ1202とステップ602、ステップ1204とステップ604、ステップ1205とステップ605、ステップ1207とステップ607、及び、ステップ1208とステップ608は同じ処理である点で同一である。これに対し、ステップ1203とステップ603、及びステップ1206とステップ606は異なる処理である点で相違する。すなわち、ステップ1203において、ファジィ制御部43は、注目オブジェクト座標検出部42が参照データ(メタデータ)に基づいて検出したボール位置(xa[n],ya[n])を入力し、当該ボール位置をオリジナル画面のボール位置として、ファジィ制御のための入力値として使用する。図13に、オリジナル画面のボール位置に対するファジィ集合を示す。また、ステップ1206において、ファジィ制御部43は、ファジィ推論から制御量であるトリミング座標の移動量を(7)式のように求める。
(Δx[n],Δy[n])=Fuzzy{(xa[n],ya[n]),(xbt[n],ybt[n]),(xbm[n],ybm[n])} ・・・ (7)
【0049】
表2は、図12に示したステップ1206のファジィ推論による制御量(オブジェクト座標の移動量)の算出のために用いるファジィルールである。このファジィルールと表1に示した実施例3のファジィルールとを比較すると、表2のファジィルールは、オリジナル画面のボール位置も入力値として使用している点で相違する。
【0050】
【表2】
【0051】
以上のように、実施例4のトリミング制御装置40によれば、ファジィ制御部43が、オリジナル画面のボール位置、トリミング画面のボール位置及びボール移動量に基づいて、表2に示したファジィルールにより、トリミング座標の移動量を算出するようにした。この場合、表2に示したファジィルールは、ボールがオリジナル画面の左側に位置するときにはトリミング画面においても左側に位置するように、また、ボールがオリジナル画面の右側に位置するときにはトリミング画面においても右側に位置するように設定されている。これにより、図14に示すように、オリジナル画面に対応してボールの進行方向に対してスペースを空けることができ、ボールの進行方向の状況がよくわかり、自然な前空き映像を実現することが可能となる。つまり、カメラマンによるカメラワークを考慮したトリミング画面を生成することが可能となる。
【実施例5】
【0052】
図15は、本発明によるトリミング制御装置の実施例5の構成及びフローチャートを示す図である。図15(a)を参照して、このトリミング制御装置50は、トリミング処理部51、注目オブジェクト座標検出部52、ファジィ制御部53、及びオフセット量付加部54を備えている。このトリミング制御装置50と図4に示した実施例3のトリミング制御装置30とを比較すると、トリミング処理部51とトリミング処理部41、及びファジィ制御部33とファジィ制御部53はそれぞれ同等の機能を有する点で同一である。これに対し、注目オブジェクト座標検出部52は、注目オブジェクト座標をファジィ制御部53だけでなくオフセット量付加部54にも出力し、オフセット量付加部54は、ファジィ制御部53からトリミング座標を、注目オブジェクト座標検出部52から注目オブジェクト座標をそれぞれ入力し、注目オブジェクト座標に基づいてオフセット量を決定し、トリミング座標にオフセット量を加えて新たなトリミング座標とし、当該新たなトリミング座標をトリミング処理部51に出力する点で相違する。このオフセット量付加部54は、図2に示した実施例2のオフセット量付加部23と同等の機能を有する。
【0053】
図15(b)を参照して、トリミング制御装置50の動作について説明する。トリミング制御装置50が、外部から映像及び参照データを入力すると、注目オブジェクト座標検出部52は、入力した参照データに基づいて注目オブジェクト座標を検出する(ステップS501)。ファジィ制御部53は、注目オブジェクト座標検出部52から注目オブジェクト座標を入力すると、オブジェクトの移動量を算出し(ステップS502)、トリミング画面のオブジェクト位置を算出し(ステップS503)、ファジィ制御によりトリミング座標の移動量を算出し、トリミング座標を決定する(ステップS504)。オフセット量付加部54は、注目オブジェクト座標検出部52から注目オブジェクト座標を、ファジィ制御部53からトリミング座標をそれぞれ入力すると、注目オブジェクト座標とオリジナル画面の中心座標とに基づいて注目オブジェクトの位置を検出し、その位置に基づいてオフセット量を決定し、トリミング座標にオフセット量を加えて新たなトリミング座標を決定する(ステップS506)。トリミング処理部51は、入力した映像のオリジナル画面から、新たなトリミング座標を中心とした所定の大きさのトリミング画面を切り出して生成する(ステップS507)。
【0054】
以上のように、実施例5のトリミング制御装置50によれば、ファジィ制御部53が、トリミング画面のボール位置及びボール移動量に基づいて、表1に示したファジィルールにより、トリミング座標を決定し、オフセット量付加部54が、オリジナル画面の中心からの注目オブジェクトの位置に応じたオフセット量を決定し、ファジィ制御部53により決定されたトリミング座標にオフセット量を加えた座標を新たなトリミング座標に決定するようにした。これにより、前述した実施例2及び実施例3と同等の効果を得ることができる。
【0055】
尚、前述のファジィ制御部53は、実施例3に示したファジィ制御部33と同等の機能を有するようにしたが、実施例4に示したファジィ制御部43と同等の機能を有するようにしてもよい。この場合、実施例2の効果に加えて実施例4と同等の効果を得ることができる。また、ファジィ制御部53の代わりに、実施例1に示した平滑化処理部13を有するようにしてもよい。この場合、実施例2の効果に加えて実施例1と同等の効果を得ることができる。
【0056】
以上、実施例1〜5により本発明を説明したが、本発明は上記実施例1〜5に限定されるものではなく、その技術思想を逸脱しない範囲で種々変形可能である。例えば、トリミング制御装置10〜50は、放送波により、またはインターネット網を介して、映像及び参照データを受信(入力)するようにしてもよい。この場合、映像及び参照データを放送波により受信するようにしてもよいし、インターネット網を介して受信するようにしてもよい。また、映像を放送波により受信し、参照データをインターネット網を介して受信するようにしてよいし、映像をインターネット網を介して受信し、参照データを放送波により受信するようにしてもよい。
【0057】
また、サッカー中継の場合に、ハイビジョンカメラのような高精度なカメラをサッカーフィールド全体が映るように1台のみ(または両サイドから2台)設置し、前述のトリミング制御装置10〜50が、ハイビジョンカメラにより撮影されたサッカーフィールド全体の映像を入力し、トリミング処理部11が、従来のパン・チルト、または複数のカメラによるスイッチングと同等の機能を、トリミング処理により実現するようにしてもよい。ボール及び選手の追跡は、正規化相関トラッキング等の画像処理または人間による補正等により行い、前述の実施例1〜5のトリミング処理を行うことにより、注目オブジェクトが激しく移動した場合であっても、トリミング座標が急変動しないようにすることができる。
【0058】
また、注目オブジェクトをサッカー中継のボールとした場合に、前述のトリミング制御装置10〜50の注目オブジェクト座標検出部12〜52は、例えば正規化相関トラッキング等の画像処理技術によって注目オブジェクト座標を検出するようにした。しかし、予め送信側が、ボール位置座標(注目オブジェクト座標)を検出し、当該注目オブジェクト座標をフレーム毎のデータとして番組メタデータに格納し、当該注目オブジェクト座標を含む番組メタデータを、放送波やインターネット網等を通じて受信側のトリミング制御装置10〜50へ伝送し、注目オブジェクト座標検出部12〜52が、伝送された番組メタデータから注目オブジェクト座標を抽出するようにしてもよい。
【0059】
また、前述のトリミング制御装置10〜50のトリミング処理部11〜51は、入力した映像のオリジナル画面から、トリミング座標を中心とした所定の大きさの画面を切り出し、トリミング画面を生成し、当該トリミング画面をトリミング映像として外部に出力するようにしたが、オリジナル画面から切り出した画面を拡大し、当該拡大した画面をトリミング画面としてもよいし、切り出した画面をそのままトリミング画面としてもよい。
【0060】
尚、前述のトリミング制御装置10〜50は、CPU、RAM等の揮発性の記憶媒体、ROM等の不揮発性の記憶媒体、キーボード等の入力装置、データを表示する表示装置、及び外部の装置と通信するためのインターフェースを備えたコンピュータ装置によってそれぞれ構成されるようにしてもよい。この場合、トリミング制御装置10〜50に備えたトリミング処理部11〜51,注目オブジェクト座標検出部12〜52,平滑化処理部13,オフセット量付加部23,54、ファジィ制御部33,43,53の各機能は、当該機能を記述したプログラムをCPUに実行させることによりそれぞれ実現される。また、これらのプログラムは、磁気ディスク(フロッピィーディスク、ハードディスク等)、光ディスク(CD−ROM、DVD等)、半導体メモリ等の記憶媒体に格納して頒布することもできる。
【符号の説明】
【0061】
10,20,30,40,50 トリミング制御装置
11,21,31,41,51 トリミング処理部
12,22,32,42,52 注目オブジェクト座標検出部
13 平滑化処理部
23,54 オフセット量付加部
33,43,53 ファジィ制御部
【特許請求の範囲】
【請求項1】
注目するオブジェクトの座標を検出する注目オブジェクト座標検出部と、
前記検出されたオブジェクト座標に基づいてオフセット量を決定し、該オフセット量を前記オブジェクト座標に付加した座標をトリミング座標に決定するトリミング座標決定部と、
トリミングにより、前記決定されたトリミング座標を中心に、入力した映像のオリジナル画面から一部の画面を切り出し、トリミング画面を生成し、該トリミング画面の映像を出力するトリミング処理部と、
を備えたことを特徴とするトリミング制御装置。
【請求項2】
請求項1に記載のトリミング制御装置において、
前記トリミング座標決定部は、検出されたオブジェクト座標に基づいて、トリミング画面におけるオブジェクト位置及びオブジェクト移動量を算出し、該トリミング画面のオブジェクト位置とオブジェクト移動量とから前記オフセット量を決定することを特徴とするトリミング制御装置。
【請求項3】
請求項1に記載のトリミング制御装置において、
前記トリミング座標決定部は、検出されたオブジェクト座標に基づいて、トリミング画面におけるオブジェクト位置及びオブジェクト移動量を算出し、該トリミング画面のオブジェクト位置と前記オブジェクト座標とオブジェクト移動量とから前記オフセット量を決定することを特徴とするトリミング制御装置。
【請求項4】
請求項1から3までのいずれか一項に記載のトリミング制御装置において、
前記検出されたオブジェクト座標を平滑化し、該平滑化したオブジェクト座標を新たなオブジェクト座標とする平滑化処理部を備え、
前記トリミング座標決定部は、前記オブジェクト座標の代わりに前記新たなオブジェクト座標を用いて前記オフセット量を決定することを特徴とするトリミング制御装置。
【請求項5】
請求項4に記載のトリミング制御装置において、
前記平滑化処理部は、前記検出されたオブジェクト座標の移動平均を算出し、該移動平均のオブジェクト座標を前記新たなオブジェクト座標とすることを特徴とするトリミング制御装置。
【請求項6】
請求項4に記載のトリミング制御装置において、
前記平滑化処理部は、前記検出されたオブジェクト座標をローパスフィルタにより積分処理を施し、該積分処理を施したオブジェクト座標を前記新たなオブジェクト座標とすることを特徴とするトリミング制御装置。
【請求項7】
請求項1から6までのいずれか一項に記載のトリミング制御装置において、
前記注目オブジェクト座標検出部は、注目するオブジェクト座標を含むメタデータを受信し、該メタデータから注目するオブジェクト座標を検出することを特徴とするトリミング制御装置。
【請求項8】
映像情報を入力し、該映像のオリジナル画面からトリミング画面を切り出して出力するトリミング制御装置が実行するプログラムであって、
前記トリミング制御装置を構成するコンピュータに、
注目するオブジェクトの座標を検出する処理と、
前記検出されたオブジェクト座標に基づいてオフセット量を決定し、該オフセット量を前記オブジェクト座標に付加した座標をトリミング座標に決定する処理と、
トリミングにより、前記決定されたトリミング座標を中心に、入力した映像のオリジナル画面から一部の画面を切り出し、トリミング画面を生成し、該トリミング画面の映像を出力する処理と、
を実行させるトリミング制御プログラム。
【請求項1】
注目するオブジェクトの座標を検出する注目オブジェクト座標検出部と、
前記検出されたオブジェクト座標に基づいてオフセット量を決定し、該オフセット量を前記オブジェクト座標に付加した座標をトリミング座標に決定するトリミング座標決定部と、
トリミングにより、前記決定されたトリミング座標を中心に、入力した映像のオリジナル画面から一部の画面を切り出し、トリミング画面を生成し、該トリミング画面の映像を出力するトリミング処理部と、
を備えたことを特徴とするトリミング制御装置。
【請求項2】
請求項1に記載のトリミング制御装置において、
前記トリミング座標決定部は、検出されたオブジェクト座標に基づいて、トリミング画面におけるオブジェクト位置及びオブジェクト移動量を算出し、該トリミング画面のオブジェクト位置とオブジェクト移動量とから前記オフセット量を決定することを特徴とするトリミング制御装置。
【請求項3】
請求項1に記載のトリミング制御装置において、
前記トリミング座標決定部は、検出されたオブジェクト座標に基づいて、トリミング画面におけるオブジェクト位置及びオブジェクト移動量を算出し、該トリミング画面のオブジェクト位置と前記オブジェクト座標とオブジェクト移動量とから前記オフセット量を決定することを特徴とするトリミング制御装置。
【請求項4】
請求項1から3までのいずれか一項に記載のトリミング制御装置において、
前記検出されたオブジェクト座標を平滑化し、該平滑化したオブジェクト座標を新たなオブジェクト座標とする平滑化処理部を備え、
前記トリミング座標決定部は、前記オブジェクト座標の代わりに前記新たなオブジェクト座標を用いて前記オフセット量を決定することを特徴とするトリミング制御装置。
【請求項5】
請求項4に記載のトリミング制御装置において、
前記平滑化処理部は、前記検出されたオブジェクト座標の移動平均を算出し、該移動平均のオブジェクト座標を前記新たなオブジェクト座標とすることを特徴とするトリミング制御装置。
【請求項6】
請求項4に記載のトリミング制御装置において、
前記平滑化処理部は、前記検出されたオブジェクト座標をローパスフィルタにより積分処理を施し、該積分処理を施したオブジェクト座標を前記新たなオブジェクト座標とすることを特徴とするトリミング制御装置。
【請求項7】
請求項1から6までのいずれか一項に記載のトリミング制御装置において、
前記注目オブジェクト座標検出部は、注目するオブジェクト座標を含むメタデータを受信し、該メタデータから注目するオブジェクト座標を検出することを特徴とするトリミング制御装置。
【請求項8】
映像情報を入力し、該映像のオリジナル画面からトリミング画面を切り出して出力するトリミング制御装置が実行するプログラムであって、
前記トリミング制御装置を構成するコンピュータに、
注目するオブジェクトの座標を検出する処理と、
前記検出されたオブジェクト座標に基づいてオフセット量を決定し、該オフセット量を前記オブジェクト座標に付加した座標をトリミング座標に決定する処理と、
トリミングにより、前記決定されたトリミング座標を中心に、入力した映像のオリジナル画面から一部の画面を切り出し、トリミング画面を生成し、該トリミング画面の映像を出力する処理と、
を実行させるトリミング制御プログラム。
【図1】
【図2】
【図3】
【図4】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図5】
【図2】
【図3】
【図4】
【図6】
【図7】
【図8】
【図9】
【図10】
【図11】
【図12】
【図13】
【図14】
【図15】
【図5】
【公開番号】特開2010−118065(P2010−118065A)
【公開日】平成22年5月27日(2010.5.27)
【国際特許分類】
【出願番号】特願2009−291219(P2009−291219)
【出願日】平成21年12月22日(2009.12.22)
【分割の表示】特願2005−183528(P2005−183528)の分割
【原出願日】平成17年6月23日(2005.6.23)
【出願人】(000004352)日本放送協会 (2,206)
【Fターム(参考)】
【公開日】平成22年5月27日(2010.5.27)
【国際特許分類】
【出願日】平成21年12月22日(2009.12.22)
【分割の表示】特願2005−183528(P2005−183528)の分割
【原出願日】平成17年6月23日(2005.6.23)
【出願人】(000004352)日本放送協会 (2,206)
【Fターム(参考)】
[ Back to top ]