説明

コンテンツ処理装置、コンテンツ処理方法、およびプログラム

【課題】従来、画像信号処理方式の開発に当たっては、画像を視たり、客観的な画質評価尺度を利用したりするため、開発者の経験やひらめき、試行錯誤に頼る部分が大きかった。
【解決手段】コンテンツに対して施す処理に関する情報である処理情報を格納し得る処理情報格納部と、入力コンテンツを受け付けるコンテンツ受付部と、前記入力コンテンツに対して、前記処理情報が示す処理を実行し、出力コンテンツを取得する処理部と、前記出力コンテンツの定性的な情報である出力定性情報、前記入力コンテンツの定性的な情報である入力定性情報のうちの1以上の定性情報を取得する定性情報取得部と、前記定性情報取得部が取得した定性情報を出力する出力部とを具備するコンテンツ処理装置により、入力コンテンツや出力コンテンツの特性を感覚的に評価し、信号処理方式の改善をより効率的に行うことができる。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、コンテンツを処理するコンテンツ処理装置等に関し、コンテンツの処理方法を手動または自動で更新するものである。また、その際に処理方法の更新を効率的に行えるような情報提示を行うものである。
【背景技術】
【0002】
従来、コンテンツの一例である画像に対する信号処理方式を開発するにあたって、入出力画像を視た評価結果や客観的な画質評価尺度を用いた評価結果を用いて、そこから開発者が新規の信号処理方式を発想していた。
【0003】
上記のような画質評価尺度の一例として、マルチメディアアプリケーション向けなどの映像の品質を、人間の主観による判断なしに自動的に主観品質推定する客観評価装置を用いた画質評価があった。かかる客観評価装置は、原画像と評価画像の2系統の映像信号の解析により映像の主観品質を推定する映像品質の客観評価装置であって、原画像に対する評価画像のブロック歪度、シーケンス内のフレームを対象とするPSNR大域時間変動度、およびフレーム毎のPSNR局所時間変動度を特徴量として抽出する特徴量抽出部と、ブロック歪度、PSNR大域時間変動度、およびPSNR局所時間変動度の重み付き和を求め、客観画質指標を算出する客観画質指標算出部と、評価画像のフレームレートを検出するフレームレート検出部と、該フレームレート検出部で検出されたフレームレートに基づいて、客観画質指標算出部で算出された客観画質指標を補正する補正部と、予め与えられた客観画質指標と主観画質の相関関係に、補正された客観画質指標を適用して主観画質推定値を導出する主観画質推定値導出部とを具備したことを特徴とする映像品質の客観評価装置である(特許文献1参照)。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特開2008−35357号公報(第1頁、第1図等)
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、画像を視たり、客観的な画質評価尺度を利用したりしても、信号処理の改善すべき点を知ることは困難であり、信号処理方式の開発にあたっては開発者の経験やひらめき、試行錯誤に頼る部分が大きかった。
【課題を解決するための手段】
【0006】
本第一の発明のコンテンツ処理装置は、コンテンツに対して施す処理に関する情報である処理情報を格納し得る処理情報格納部と、入力コンテンツを受け付けるコンテンツ受付部と、入力コンテンツに対して、処理情報が示す処理を実行し、出力コンテンツを取得する処理部と、出力コンテンツの定性的な情報である出力定性情報、入力コンテンツの定性的な情報である入力定性情報のうちの1以上の定性情報を取得する定性情報取得部と、定性情報取得部が取得した定性情報を出力する出力部とを具備するコンテンツ処理装置である。
【0007】
かかる構成により、入力コンテンツや出力コンテンツの特性を感覚的に評価し、信号処理方式の改善をより効率的に行うことができる。
【0008】
また、本第二の発明のコンテンツ処理装置は、第一の発明に対して、出力部は、出力コンテンツ、入力コンテンツのうちの1以上のコンテンツをも出力するコンテンツ処理装置である。
【0009】
かかる構成により、入力コンテンツや出力コンテンツの特性を感覚的に評価し、またその時に実際にどのようなコンテンツが入力され出力されているのかを同時に視ることで、信号処理方式の改善をより効率的に行うことができる。
【0010】
また、本第三の発明のコンテンツ処理装置は、第一または第二の発明に対して、出力部が、少なくとも出力定性情報を出力した後、新しい処理情報を受け付ける処理情報受付部と、処理情報受付部が受け付けた処理情報を、処理情報格納部に上書きする処理情報更新部とをさらに具備するコンテンツ処理装置である。
【0011】
かかる構成により、入力コンテンツや出力コンテンツの特性を感覚的に評価した開発者が、それを参考にして入力コンテンツから出力コンテンツを生成する処理を更新することができる。
【0012】
また、本第四の発明のコンテンツ処理装置は、第一または第二の発明に対して、出力部が出力した出力定性情報を含む情報の評価を受け付ける評価受付部と、評価に応じて、新しい処理情報を構成する処理情報構成部と、処理情報構成部が構成した処理情報を、処理情報格納部に上書きする処理情報更新部とをさらに具備するコンテンツ処理装置である。
【0013】
かかる構成により、入力コンテンツや出力コンテンツの特性を感覚的に評価した結果を用いて、入力コンテンツから出力コンテンツを生成する処理を自動更新できる。
【0014】
また、本第五の発明のコンテンツ処理装置は、第一から第四いずれかの発明に対して、出力定性情報は、出力コンテンツの2以上の特徴量を図的に示した出力コンテンツ特徴図であるコンテンツ処理装置である。
【0015】
かかる構成により、入力コンテンツや出力コンテンツの特性を感覚的に評価し、信号処理方式の改善をより効率的に行うことができる。
【0016】
また、本第六の発明のコンテンツ処理装置は、第五の発明に対して、出力コンテンツ特徴図は、出力コンテンツの時間および空間のアクティビティである2以上の出力時空間アクティビティを表現した図であるコンテンツ処理装置である。
【0017】
かかる構成により、入力コンテンツや出力コンテンツの特性を感覚的に評価し、信号処理方式の改善をより効率的に行うことができる。
【0018】
また、本第七の発明のコンテンツ処理装置は、第一から第四いずれかの発明に対して、入力定性情報は、入力コンテンツの2以上の特徴量を図的に示した入力コンテンツ特徴図であるコンテンツ処理装置である。
【0019】
かかる構成により、入力コンテンツや出力コンテンツの特性を感覚的に評価し、信号処理方式の改善をより効率的に行うことができる。
【0020】
また、本第八の発明のコンテンツ処理装置は、第七の発明に対して、入力コンテンツ特徴図は、入力コンテンツの時間および空間のアクティビティである2以上の入力時空間アクティビティを表現した図であるコンテンツ処理装置である。
【0021】
かかる構成により、入力コンテンツや出力コンテンツの特性を感覚的に評価し、信号処理方式の改善をより効率的に行うことができる。
【0022】
また、本第九の発明のコンテンツ処理装置は、第一から第八いずれかの発明に対して、処理情報は、第一の処理を行う第一処理情報と、第二の処理を行う第二処理情報とを少なくとも有し、処理部は、入力コンテンツに対して、第一処理情報が示す処理を実行し、中間コンテンツを取得する第一処理手段と、中間コンテンツまたは中間コンテンツから取得されたコンテンツに対して、第二処理情報が示す処理を実行し、出力コンテンツを取得する第二処理手段とを具備し、出力部は、中間コンテンツをも出力するコンテンツ処理装置である。
【0023】
かかる構成により、中間コンテンツの特性をも感覚的に評価し、信号処理方式の改善をより効率的に行うことができる。
【0024】
また、本第十の発明のコンテンツ処理装置は、第一から第八いずれかの発明に対して、処理情報は、第一の処理を行う第一処理情報と、第二の処理を行う第二処理情報とを少なくとも有し、処理部は、入力コンテンツに対して、第一処理情報が示す処理を実行し、中間コンテンツを取得する第一処理手段と、中間コンテンツまたは前記中間コンテンツから取得されたコンテンツに対して、前記第二処理情報が示す処理を実行し、出力コンテンツを取得する第二処理手段とを具備し、定性情報取得部は、中間コンテンツの定性的な情報である中間定性情報をも取得し、出力部は、中間定性情報をも出力するコンテンツ処理装置である。
【0025】
かかる構成により、中間定性情報をも感覚的に評価し、信号処理方式の改善をより効率的に行うことができる。
【0026】
また、本第十一の発明のコンテンツ処理装置は、第一から第十いずれかの発明に対して、入力コンテンツおよび出力コンテンツは、画像であるコンテンツ処理装置である。
【0027】
かかる構成により、入力画像や出力画像の特性を感覚的に評価し、画像処理方式の改善をより効率的に行うことができる。
【0028】
また、本第十二の発明のコンテンツ処理装置は、第一から第十いずれかの発明に対して、入力コンテンツおよび出力コンテンツは、音情報であるコンテンツ処理装置である。
【0029】
かかる構成により、入力音や出力音の特性を感覚的に評価し、音声処理方式の改善をより効率的に行うことができる。
【発明の効果】
【0030】
本発明によるコンテンツ処理装置によれば、入力コンテンツや出力コンテンツの特性を感覚的に評価し、信号処理方式の改善をより効率的に行うことができる。
【図面の簡単な説明】
【0031】
【図1】実施の形態1におけるコンテンツ処理装置のブロック図
【図2】同時空間アクティビティの第一の例を示す図
【図3】同時空間アクティビティの第二の例を示す図
【図4】同時空間アクティビティの第三の例を示す図
【図5】同時空間アクティビティの第四の例を示す図
【図6】同時空間アクティビティの第五の例を示す図
【図7】同時空間アクティビティの第六の例を示す図
【図8】同時空間アクティビティの第七の例を示す図
【図9】同時空間アクティビティの第八の例を示す図
【図10】同時空間アクティビティの第九の例を示す図
【図11】同時空間アクティビティの第十の例を示す図
【図12】同時空間アクティビティの第十一の例を示す図
【図13】同時空間アクティビティの第十二の例を示す図
【図14】同コンテンツ特徴図の例を示す図
【図15】同コンテンツ特徴図の例を示す図
【図16】同コンテンツ特徴図の例を示す図
【図17】同定性情報取得部の処理の例を説明する図
【図18】同定性情報取得部の処理の例を説明する図
【図19】同定性情報取得部の処理の例を説明する図
【図20】同定性情報取得部の処理の例を説明する図
【図21】同コンテンツ特徴図の例を示す図
【図22】同コンテンツ特徴図の例を示す図
【図23】同コンテンツ特徴図の例を示す図
【図24】同コンテンツ特徴図の例を示す図
【図25】同コンテンツ特徴図の例を示す図
【図26】同コンテンツ処理装置の出力例を示す図
【図27】同コンテンツ処理装置の動作について説明するフローチャート
【図28】同コンテンツ受付部が受け付ける映像の例を示す図
【図29】同出力コンテンツの例を示す図
【図30】同コンテンツ処理装置の出力例を示す図
【図31】同コンテンツ特徴図の例を示す図
【図32】同コンテンツ特徴図の例を示す図
【図33】同コンピュータシステムの概観図
【図34】同コンピュータシステムのブロック図
【発明を実施するための形態】
【0032】
以下、コンテンツ処理装置等の実施形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。
【0033】
(実施の形態1)
本実施の形態において、入力コンテンツに対して処理を施し、出力コンテンツを取得し、当該出力コンテンツの定性的な情報である出力定性情報、入力コンテンツの入力定性情報のうちの1以上を取得し、取得した出力定性情報または入力定性情報を出力するコンテンツ処理装置について説明する。
【0034】
また、本実施の形態において、入力コンテンツや出力コンテンツも出力するコンテンツ処理装置について説明する。
【0035】
また、本実施の形態において、処理を異なる処理に置き換えるための情報を受け付けるコンテンツ処理装置について説明する。
【0036】
また、本実施の形態において、ユーザ評価を受け付け、評価に応じて、出力定性情報、または出力定性情報と入力定性情報から、自動的に処理を異なる処理に置き換えるコンテンツ処理装置について説明する。
【0037】
図1は、本実施の形態におけるコンテンツ処理装置1のブロック図である。コンテンツ処理装置1は、処理情報格納部11、コンテンツ受付部12、評価受付部13、処理情報受付部14、処理部15、定性情報取得部16、出力部17、処理情報構成部18、処理情報更新部19を備える。
【0038】
処理情報格納部11は、コンテンツに対して施す処理に関する情報である処理情報を格納し得る。処理情報は、プログラムでもデータ等でも良く、例えば、ルックアップテーブルや、ノイズを除去するプログラムや、解像度創造を行うプログラム(特許第2825482号公報、特許第3072306号公報等に記載している技術に関するプログラム)、フレームレート変換を行うプログラム、諧調改善を行うプログラム等である。なお、ルックアップテーブルとは、1または2以上の対応情報を有する。対応情報は、1以上の第一の情報(入力画像や入力された音情報など)の全部または一部分と、1以上の第二の情報(出力画像や出力される音情報など)の全部または一部分との対応を取るための情報である。ルックアップテーブルが有する対応情報が一つの場合、かかる対応情報は、例えば、情報(画像や音情報など)を変換する演算式や、情報を変換する演算式に与える1以上のパラメータ群である。対応情報は、例えば、時空間ブロックの画素値の中央値を算出する演算式などでも良い。また、処理情報は、解像度創造を行うためのタップ選択方式を示す情報、クラス選択方式を示す情報、マッピング係数などであっても良い。また、処理情報は、フレームレート変換を行うための時間補間フィルタ係数、動き検出パラメータなどであっても良い。また、処理情報は、ノイズ除去を行うためのノイズ検出パラメータ、フィルタ係数などであっても良い。また、処理情報は、諧調改善を行うための諧調検出パラメータ、諧調創造フィルタ係数などであっても良い。
【0039】
また、処理情報は、音声のノイズ除去を行うプログラムや、各種の係数などでも良い。また、処理情報は、音声の高周波領域創造を行うプログラムや各種の係数、再生速度変換(速聞き)を行うプログラムや各種の係数、音場再現を行うプログラムや各種の係数などでも良い。
【0040】
また、処理情報は、第一の処理を行う第一処理情報と、第二の処理を行う第二処理情報とを有しても良い。また、処理情報は、3以上の処理を行うための情報を有しても良い。
【0041】
また、ルックアップテーブルに対応情報が2以上含まれる場合、対応情報は、情報の特徴量の集合である特徴量ベクトルに対応付けられていることは好適である。
【0042】
また、対応情報は、1以上の受信された第一の情報の全部または一部分と、第一の情報より脳負荷が調整された情報であり、第一の情報と同一の対象についての情報である第二の情報の全部または一部分との対応を取るための情報であることは好適である。
【0043】
脳負荷が調整された情報とは、例えば、視聴する場合に、脳の負荷をより低減できる画像である。脳の負荷をより低減できる画像とは、脳が、質感、遠近感、存在感、臨場感、重量感、温もり感、ひんやり感、スピード感、躍動感、動きの滑らかさ、新鮮な感じ、高級感などのうちの1以上の属性を、より感じる画像である。なお、属性は画像によって異なる。なお、質感とは、材質感、光沢感、透明感、ふんわり感、しっとり感など、画像に含まれる対象の質感である。また、遠近感とは、解像感、立体感、奥行き感、空気感などとも言える。また、脳の負荷を低減できる画像とは、脳に好適に感じられる画像と言い換えても良い。
【0044】
また、脳負荷が調整された情報とは、例えば、1以上の第一の情報と異なる環境で取得され得る1以上の情報である。つまり、かかる場合、例えば、1以上の第一の情報と、1以上の第二の情報は、情報を取得する環境が異なる。異なる環境とは、例えば、都市部と郊外(田舎と言っても良い。)である。かかる場合、第一の情報は、雑音の多い都市部の路上で一の曲を演奏した音楽であり、第二の情報は、雑音がほとんどなく、例えば、鳥のさえずりが聞こえるような環境、または1/fのゆらぎの風が吹いているような環境で、前記一の曲を演奏した音楽である。
【0045】
また、脳負荷が調整された情報とは、例えば、1以上の第一の画像と異なる他の環境で撮影され得る1以上の画像である。なお、他環境とは、一の環境とは異なる環境であり、一の環境より目的に合致した画像を撮影できる環境である。他環境とは、例えば、以下の(1)から(9)のような環境である。(1)一の環境より照明(光源)の光量が多い環境、(2)一の環境と比較して、画像上のオブジェクトの陰が良く表出する光源の位置の環境、(3)一の環境と比較して、画像上のオブジェクトの立体感が良く表出する光源の位置の環境、(4)一の環境と比較して、画像上のオブジェクトの立体感が良く表出するカメラ位置の環境、(5)一の環境と照明の色が異なる環境、(6)一の環境と異なる天候の環境、(7)一の環境と異なる温度や湿度の環境、(8)一の環境と異なる被写界深度の環境、(9)一の環境と異なるシャッター速度の環境などである。つまり、かかる場合、一の環境と他環境とでは、例えば、光量、光源の位置、光源の色、カメラの位置、カメラの設定などの撮影環境が異なる。また、環境とは、通常、撮影環境であるが、画像を取得する環境に関するものであれば何でも良い。
【0046】
処理情報格納部11は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。処理情報格納部11に処理情報が記憶される過程は問わない。例えば、記録媒体を介して処理情報が処理情報格納部11で記憶されるようになってもよく、通信回線等を介して送信された処理情報が処理情報格納部11で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された処理情報が処理情報格納部11で記憶されるようになってもよい。
【0047】
コンテンツ受付部12は、入力コンテンツを受け付ける。入力コンテンツは、入力されるコンテンツである。コンテンツは、画像、音情報など、その種類は問わない。コンテンツは、画像と音情報の組み合わせ等、2種類以上のコンテンツの組み合わせでも良い。ここで、受け付けとは、通常、有線もしくは無線の通信回線を介して送信された情報の受信、放送手段からの受信であるが、入力デバイスからの入力、光ディスクや磁気ディスク、半導体メモリなどの記録媒体からの読み出し等を含む概念である。入力手段は、通信手段、放送受信手段で実現され得る。
【0048】
評価受付部13は、後述する出力部17が出力した出力定性情報を含む情報の評価を受け付ける。出力定性情報を含む情報には、通常、入力コンテンツと出力コンテンツとが含まれる。また、出力定性情報を含む情報は、入力定性情報を含んでも良い。ここで、出力定性情報とは、例えば、出力コンテンツの2以上の特徴量を図的に示した出力コンテンツ特徴図である。出力コンテンツ特徴図は、出力コンテンツの特徴を示す画像であるので出力特徴画像と言っても良い。また、出力定性情報は、例えば、2以上の時空間アクティビティの集合である。時空間アクティビティとは、通常、時間的に異なる2以上の画像(フレーム)や2以上の音声のフレームの、空間的に異なる領域の変化(相違)に関する情報である。なお、空間的に異なる領域は、オーバーラップしていても良い。
【0049】
また、時空間アクティビティの元の情報が画像である場合、時空間アクティビティとは、時空間に分布する、2つ以上の領域(画像で言えば、一画素でも、2画素以上でも良い)の間の変化をあらわす量である、と言える。また、時空間アクティビティとは、2以上の領域(一画素でも、2画素以上でも良い)の比較結果を示す量である、と言える。
【0050】
なお、画像データは、時間・空間の空間に各画素の情報(輝度、色など)が分布している多次元情報を捉えることができる。そして、時空間アクティビティの元の情報が画像である場合、時空間アクティビティとは、その画像の、任意の時空間領域に存在する2つ以上の領域間の画素情報の変化の度合いを表す特徴である。時空間アクティビティそのものも時空間の広がりを持つ多次元の情報である。
【0051】
ここで、時空間アクティビティにおいて、変化を算出する2以上の領域の時空間内における位置関係は問わない。また、時空間アクティビティには、空間的に同じで、時間的に違なる領域の間の変化をあらわす量(これを、厳密には、時間アクティビティという)も含むと考えても良い。また、時空間アクティビティには、時間的に同じ(同じフレーム)で、空間的に違なる領域の間の変化をあらわす量(これを、厳密には、空間アクティビティという)も含むと考えても良い。また、変化を算出する2以上の各領域の形状は異なっていても良い。例えば、変化を算出する2つの領域の一領域が1画素で他領域が複数画素である場合や、変化を算出する2つの領域の一領域は一点であり、他領域は時空間の全画素でも良い。また、変化を算出する2つの領域である領域Aと領域Bにおいて、領域Aは領域Bと相似形で大きさが異なる領域でも良い。また、アクティビティを算出する対象の領域は3以上でも良い。また、時空間アクティビティは、同一画像中で同時に複数の領域セットに対して、算出され得る。そのような複数の時空間アクティビティの集合も、時空間アクティビティと言っても良い。また、算出した異なる領域を対象とした時空間アクティビティを合算して、より広い領域間の時空間アクティビティが取得され得る。そして、かかる場合、合算前の時空間アクティビティと合算後の時空間アクティビティとの集合を同時に利用できる。かかる時空間アクティビティの集合の利用が、階層的な時空間アクティビティの利用である。また、つまり、例えば、3領域間で時空間アクティビティを算出する場合に、(領域Aと領域Bの差)と(領域Bと領域Cの差)の差で、変化度合いの変化を表す量を用いても良い。また、領域間の比較の際に、時空間アクティビティを取得する元の情報(例えば、画素情報)を加工してもしなくてもよい。また、例えば、時空間アクティビティは、領域Aの全画素と領域Bの全画素の比較でも、領域Aの代表画素と領域Bの全画素の比較結果の値でも、領域Aの画素平均値と領域Bの全画素の比較結果の値でも良い。また、時空間アクティビティは、中間的に得られたアクティビティを集計し、より広範囲かつ安定するような情報でも良い。また、上記の変化とは、例えば、画素単純差、画素差分絶対値、画素差分二乗など、領域間の差異に関するものであれば何でも良い。また、同時に複数の領域のセット(2個の領域の対、3個以上の領域のセット)間で差分を算出して、その集合を時空間アクティビティとしても良い。かかる場合、領域同士は互いに重なりあっていても良い。
【0052】
なお、画像等の情報の定性特徴として時空間アクティビティを利用する場合、時空間アクティビティが図形的に表現するのに足る情報量を有していることが好適である。そのためには、個別の領域間で時空間アクティビティを算出する際に、たとえば、画素と画素群の差分の分布の情報を保持したり、複数の領域の組に対して同時に時空間アクティビティを算出し、その情報の集合を利用するなどの方法が好適である。そのようにして得られた定性特徴(時空間アクティビティ)は、後述する3次元線グラフの集合や、差分を濃淡表示するなどして、図的に表示することが可能になる。そして、ユーザが、図的な表示を見ることにより、信号処理方式を評価することが可能になる。
【0053】
時空間アクティビティの第一の例を、図2に示す。図2において、aフレームとbフレームとは、時間的に異なるフレームである。そして、図2において、21や22に示す2つの画素の特徴量の差異が時空間アクティビティの一例である。なお、2つのフレームの対応する画素の位置は予め決められていてもよいし、たとえば評価者(ユーザ)が適宜設定できるようになっていてもよい。また、上述したように、時空間アクティビティは、空間アクティビティや時間アクティビティを含むと考えても良い。図2において、空間アクティビティの例は、23および24である。また、画素の特徴量とは、例えば、画素値や、輝度等である。さらに、差異とは、単純差、差分絶対値、差分二乗など、差に関する情報であれば良い。このような2画素間の差異を2組以上の画素で求めることで得られる情報も時空間アクティビティと言える。多くの画素間の関係を同時に評価することは、定性評価の方法として好適である。
【0054】
また、時空間アクティビティの第二の例を、図3に示す。図3において、aフレームとbフレームとは、時間的に異なるフレームである。そして、図3において、31や32に示す2つの領域内の複数の画素の代表画素値の差異が時空間アクティビティの一例である。代表画素値とは、複数の画素の画素値を代表する値であり、例えば、複数の画素の画素値の平均値や中央値などである。それぞれの領域で使用する代表画素値の種類は互いに異なっていてもよい。なお、対応する2つの領域は、フレーム内の異なる領域でも良いし、フレーム内での位置が同一の領域でも良い。また、対応する2つの領域は、予め決められていてもよいし、たとえば評価者(ユーザ)が適宜設定できるようになっていてもよい。また、一のフレームにおける2以上の領域は、重なっても良い。また、領域形状は自由である。また、対応する2つの領域の形状は同じである必要はない。このような2領域間のそれぞれの代表画素値の差異を2組以上の領域で求めることで得られる情報も時空間アクティビティと言える。多くの領域間の関係を同時に評価することは、定性評価の方法として好適である。
【0055】
また、時空間アクティビティの第三の例を、図4に示す。図4において、aフレームとbフレームとは、時間的に異なるフレームである。そして、図4において、41に示すように、各フレームにおける特定の一の領域内の複数の画素群間の差異が時空間アクティビティであっても良い。画素群間の差異とは、たとえば、それぞれの領域の画素それぞれの特徴量を順番にならべて得られるベクトルの差である。画素の特徴量としては、画素値や、輝度、色情報などがある。ベクトルの差とは、例えば、ベクトル各要素の単純差や差分二乗などである。このようにして得られた画素群間の差異もまたベクトル情報であり、定性評価に使用するにあたって好適である。なお、対応する2つの領域は、予め決められていてもよいし、たとえば評価者(ユーザ)が適宜設定できるようになっていてもよい。
【0056】
また、時空間アクティビティの第四の例を、図5に示す。図5において、aフレームとbフレームとは、時間的に異なるフレームである。そして、図5において、51に示すように、aフレームの画素と、bフレームの特定の領域を構成する各画素との差分の分布が時空間アクティビティである。このようにしてえら得る時空間アクティビティは、空間的な広がりを持つ多次元情報であり、定性評価に使用するにあたって好適である。なお、対応するaフレームの画素と、bフレームの画素群とは、予め決められていてもよいし、たとえば評価者(ユーザ)が適宜設定できるようになっていてもよい。
【0057】
また、時空間アクティビティの第五の例を、図6に示す。図6において、aフレームとbフレームとは、時間的に異なるフレームである。そして、図6において、61、62、63に示すように、aフレームの特定の領域に含まれる複数の画素と、bフレームの特定の領域に含まれる、複数の部分領域を構成する各画素との差分の分布が時空間アクティビティである。つまり、上記の第四の例の差分算出をaフレームの特定の領域に含まれる複数の画素に対して行った結果が、第五の例の時空間アクティビティの例である。この例も、フレームaの特定領域と、bフレームの特定領域の時空間アクティビティの一例と言える。なお、対応するaフレームの画素と、bフレームの画素群とは、予め決められていてもよいし、たとえば評価者(ユーザ)が適宜設定できるようになっていてもよい。
【0058】
また、時空間アクティビティの第六の例を、図7に示す。図7において、aフレームとbフレームとは、時間的に異なるフレームである。そして、図7において、時空間アクティビティは、フレームaの特定の領域に含まれる複数(ここでは3つ)の画素に対して、フレームbの特定の領域に含まれる複数の部分領域を構成する各画素との間で求められた、差分分布(3つの差分分布)を合算した結果72である。なお、対応するaフレームの画素と、bフレームの画素群とは、予め決められていてもよいし、たとえば評価者(ユーザ)が適宜設定できるようになっていてもよい。
【0059】
なお、図2から図7におけるaフレームとbフレームとは、時間的に連続する異なるフレームであることが好適であるが、異なるフレームであれば良く、時間的に連続していることは必須ではない。
【0060】
また、以下、図8から図13を用いて、時空間アクティビティについて、さらに説明する。なお、図8から図13において、時空間アクティビティを取得する対象の情報は、2以上のフレームを具備し、水平方向・垂直方向の空間の軸、およびフレーム方向の時間の軸の2つの軸を有する。
【0061】
時空間アクティビティの第七の例を、図8に示す。図8において、時空間アクティビティは、それぞれ時空間に分布する、2つ以上の領域の間(例えば、領域Aと領域B)の特徴量の変化をあらわす量である。
【0062】
また、時空間アクティビティの第八の例を、図9に示す。図9において、時空間アクティビティを算出する対象の2以上の各領域の形状は異なっている。また、図9において、91は時空間アクティビティであり、92は空間アクティビティである。
【0063】
また、時空間アクティビティの第九の例を、図10に示す。図10において、時空間アクティビティは、3つの領域に関するアクティビティであり、2つの領域(101と102の領域)の差の情報である第一の差情報と、2つの領域(102と103の領域)の差の情報である第二の差情報との差である。
【0064】
また、時空間アクティビティの第十の例を、図11に示す。図11において、111は、同一の空間で異なる時間の2つの領域の変化を示す量である時間アクティビティの例である。また、112および113は、同一の時間で異なる空間の2つの領域の変化を示す空間アクティビティの例である。
【0065】
また、時空間アクティビティの第十一の例を、図12に示す。図12において、時空間アクティビティは、複数の領域の変化(差)に関する情報の集合である。つまり、定性情報取得部16は、121、122、および123の3つの領域セットの差を同時に算出し、当該3つの差の集合を時空間アクティビティとしてもよい。また、定性情報取得部16は、124、および125の2つの領域セットの差を同時に算出し、当該2つの差の集合を時空間アクティビティとしてもよい。
【0066】
また、時空間アクティビティの第十二の例を、図13に示す。図13において、時空間アクティビティは、複数の領域の変化(差)を合算した値である。つまり、定性情報取得部16は、131、132、133、134、および135の5つの領域セットの差を同時に算出し、当該5つの差を合算した差情報を時空間アクティビティとしてもよい。
【0067】
また、コンテンツ特徴図(入力コンテンツ特徴図または出力コンテンツ特徴図の総称)は、上述したように、コンテンツの2以上の特徴量を図的に示したものであり、例えば、図14に示す画像である。時空間アクティビティは時空の広がりを持つ変化の様子を表す情報であるから、たとえば、図14のように、2次元空間をx、yの軸で、それぞれの位置に対する差分をz軸にプロットした3次元グラフで表現することができる。また、コンテンツ特徴図は、図15のように等高線で表示した図でも、図16のようにz軸値を色や濃淡で表示した図でも良い。
【0068】
また、評価とは、「良い(例えば、「1」)」または「悪い(例えば、「0」)」の2者択一であっても良いし、3段階以上の評価値であっても良いし、2以上の特性(例えば、見やすさ、雰囲気、好感度などの定性的な評価軸が好適である。)の評価値(2段階でも3段階以上でも良い)でも良い。
【0069】
評価の入力手段は、テンキーやキーボードやマウスやメニュー画面によるもの等、何でも良い。評価受付部13は、テンキーやキーボード等の入力手段のデバイスドライバーや、メニュー画面の制御ソフトウェア等で実現され得る。
【0070】
処理情報受付部14は、出力部17が、少なくとも出力定性情報を出力した後、新しい処理情報を受け付ける。通常、ユーザ(開発者等)が、新しい処理情報を入力する。なお、処理情報の入力手段は、キーボードやマウスやメニュー画面によるもの等、何でも良い。処理情報受付部14は、キーボード等の入力手段のデバイスドライバーや、メニュー画面の制御ソフトウェア等で実現され得る。また、ユーザ(開発者等)による処理情報の入力が、揮発性メモリの差し替えや、磁気媒体、光学媒体などの読み込みによって行われても良い。その場合、処理情報受付部14は、そのような記録媒体やメモリの読み込み装置やデバイスドライバーである。また、ユーザ(開発者等)による処理情報の入力が、通信によって行われても良い。その場合、処理情報受付部14は、ネットワーク装置や通信装置である。
【0071】
処理部15は、入力コンテンツに対して、処理情報が示す処理を実行し、出力コンテンツを取得する。処理部15が行う処理は、処理情報に依存する。処理部15が行う処理は、例えば、ノイズ除去や、解像度創造等である。処理部15は、入力コンテンツに対して、第一処理情報が示す処理を実行し、中間コンテンツを取得する第一処理手段(図示しない)と、中間コンテンツまたは中間コンテンツから取得されたコンテンツに対して、第二処理情報が示す処理を実行し、出力コンテンツを取得する第二処理手段(図示しない)とを具備しても良い。
【0072】
処理部15は、通常、MPUやメモリ等から実現され得る。処理部15の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
【0073】
定性情報取得部16は、出力コンテンツの定性的な情報である出力定性情報、入力コンテンツの定性的な情報である入力定性情報のうちの1以上の定性情報を取得する。ここで、入力定性情報は、例えば、入力コンテンツの2以上の特徴量を図的に示した入力コンテンツ特徴図である。入力コンテンツ特徴図は、入力コンテンツの特徴を示す画像であるので入力特徴画像と言っても良い。また、定性情報取得部16は、中間コンテンツの定性的な情報である中間定性情報をも取得しても良い。
【0074】
定性情報取得部16は、例えば、図17に示すように、複数フレーム(例えば、aフレームとbフレーム)から、同一の形状の長方形の領域対を取得する。なお、aフレームとbフレームとは、時間的に同一のフレームでも、異なるフレームでも良い。そして、ここで、差分算出の対象は、aフレームとbフレームの空間的に同じ位置に位置する2つの領域である、とする。以下、適宜、差分算出の対象の箇所を領域と言う。
【0075】
また、定性情報取得部16は、例えば、図18に示すように、aフレームの各領域に対しては領域の中央の画素情報を、bフレームの各領域に対しては領域の全画素を対象として、画素差絶対値を算出しても良い。なお、得られた画素差絶対値は、領域の形状と同じ、長方形の情報になる。
【0076】
次に、定性情報取得部16は、図19に示すように、画面をたとえば縦横4分割して、16の部分画面にわける。そして、図20に示すように、定性情報取得部16は、16の部分画面のそれぞれに含まれる各領域の差分情報の積算を行う。一般的に、部分画面の大きさは領域に比べて大きく、部分画面には多数の領域が含まれるため、この計算によって、部分画面ごとの差分情報は、多数の領域間の差分算出結果の合算となる。以上により得られた情報を部分画面ごとに図示することで、図的な情報が得られる。一例として、図21に示すような3次元グラフで構成される図的な情報が得られる。
【0077】
また、定性情報取得部16は、例えば、図21における16の部分画面の差分情報を合算し、一の3次元グラフからなる出力コンテンツ特徴図を構成しても良い(図22参照)。かかることにより、図21を用いて説明したより、より広い空間領域の特徴を表すコンテンツ特徴図を得ることができる。この場合、全部分画面の合算により得られるのは全画面のコンテンツ特徴図と言える。また、図23に示すように、画面を4分割した4つの部分画面に含まれる差分情報を合算し、4つの3次元グラフからなるコンテンツ特徴図を構成することもできる。この場合、4領域の合算によってえられるのは画面の4分の一の部分画面の特徴を表すコンテンツ特徴図と言える。
【0078】
なお、コンテンツ特徴図のグラフの形態は、上述した3次元グラフでなくても良い。コンテンツ特徴図は、例えば、図24に示すような等高線で提示された特徴画像でも良いし、図25に示すような濃淡で提示された特徴画像でも良い。また、図26に示すように、コンテンツ特徴図をコンテンツに重畳して表示しても良い。
【0079】
定性情報取得部16は、通常、MPUやメモリ等から実現され得る。定性情報取得部16の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
【0080】
出力部17は、定性情報取得部16が取得した定性情報を出力する。また、出力部17は、出力コンテンツ、入力コンテンツのうちの1以上のコンテンツをも出力することは好適である。また、出力部17は、図26に示すように、入力コンテンツまたは出力コンテンツと一緒に、入力コンテンツ特徴図または出力コンテンツ特徴図を出力しても良い。ここでは、コンテンツの上に、半透明にしたコンテンツ特徴図が出力されている。
ここで、出力とは、ディスプレイへの表示、プロジェクターを用いた投影、プリンタでの印字、外部の装置(主として、表示装置)への送信、記録媒体への蓄積、他の処理装置や他のプログラムなどへの処理結果の引渡しなどを含む概念である。
【0081】
また、出力部17は、中間コンテンツや、中間定性情報をも出力しても良い。
【0082】
出力部17は、ディスプレイ等の出力デバイスを含むと考えても含まないと考えても良い。出力部17は、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。
【0083】
処理情報構成部18は、評価に応じて、新しい処理情報を構成する。処理情報構成部18は、評価が「悪い(例えば「0」)」であった場合に、当該入力コンテンツから当該出力コンテンツを生成した処理情報(ここでは、ルックアップテーブル)が有する対応情報を、新しい対応情報(例えば、評価が「良い(例えば「1」)」)であった場合に対応する対応情報に置き換える。具体的には、たとえば、処理情報構成部18は、過去の評価とそれに応じて選択された処理情報の履歴を蓄積し、評価が「悪い」であった場合に、過去に利用したことがない対応情報をランダムに適応することができる。これによって評価が「良い」になるまで、総当たり的に対応情報を試すことができる。また、処理情報が1以上の変数を含む演算式の場合、具体的には、たとえば、処理情報構成部18は、評価が「良い」になるまで、演算式の1以上の各変数に与えるパラメータを、乱数を発生させることにより生成して演算式に与え、新しい演算式を構成する。
【0084】
処理情報構成部18は、通常、MPUやメモリ等から実現され得る。処理情報構成部18の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
【0085】
処理情報更新部19は、処理情報受付部14が受け付けた処理情報を、処理情報格納部11に上書きする。また、処理情報更新部19は、処理情報構成部18が構成した処理情報を、処理情報格納部11に上書きしても良い。つまり、処理情報格納部11の処理情報は、手動により更新されても良いし、自動的に更新されても良い。
【0086】
処理情報更新部19は、通常、MPUやメモリ等から実現され得る。処理情報更新部19の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
【0087】
次に、コンテンツ処理装置1の動作について、図27のフローチャートを用いて説明する。
【0088】
(ステップS2701)コンテンツ受付部12は、入力コンテンツを受け付けたか否かを判断する。入力コンテンツを受け付ければステップS2702に行き、入力コンテンツを受け付けなければステップS2701に戻る。
【0089】
(ステップS2702)処理部15は、入力コンテンツに対して、処理情報格納部11の処理情報を適用し、出力コンテンツを生成する。
【0090】
(ステップS2703)定性情報取得部16は、ステップS2702で生成された出力コンテンツの出力定性情報を取得する。
【0091】
(ステップS2704)定性情報取得部16は、ステップS2701で受け付けられた入力コンテンツの入力定性情報を取得する。
【0092】
(ステップS2705)出力部17は、ステップS2701で受け付けられた入力コンテンツ、およびステップS2702で生成された出力コンテンツを出力する。
【0093】
(ステップS2706)出力部17は、ステップS2704で取得された入力定性情報、よびステップS2703で取得された出力定性情報を出力する。
【0094】
(ステップS2707)評価受付部13は、出力部17が出力した出力定性情報を含む情報の評価を受け付けたか否かを判断する。評価を受け付ければステップS2708に行き、評価を受け付けなければステップS2707に戻る。
【0095】
(ステップS2708)処理情報構成部18は、ステップS2707で受け付けられた評価が否定的な評価であるか否かを判断する。否定的な評価であればステップS2709に行き、肯定的な評価であればステップS2701に戻る。
【0096】
(ステップS2709)処理情報構成部18は、新しい処理情報を構成する。
【0097】
(ステップS2710)処理情報更新部19は、ステップS2709で構成された処理情報を、処理情報格納部11に上書きする。ステップS2701に戻る。
【0098】
なお、図27のフローチャートにおいて、手動により処理情報を更新する場合、ステップS2707からステップS2710は不要である。かかる場合、例えば、出力定性情報等が出力された後、ユーザ指示によりステップS2701に戻る。
【0099】
また、図27のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
【0100】
以下、本実施の形態におけるコンテンツ処理装置1の具体的な動作について説明する。今、定性情報は時空間アクティビティであり、出力される時空間アクティビティの態様は上述した3次元グラフである、とする。
【0101】
また、処理情報格納部11には、2以上の対応情報が格納されているルックアップテーブルが格納されている、とする。また、各対応情報は、特徴量ベクトルと対応付けられている、とする。
【0102】
かかる状況において、コンテンツ処理装置1は、外部から映像を受け付けた、とする。つまり、コンテンツ処理装置1のコンテンツ受付部12は、図28に示すような映像を受け付ける。
【0103】
次に、処理部15は、入力コンテンツから1以上の特徴量を取得し、当該1以上の特徴量と、距離が最も近い特徴量ベクトルに対応する対応情報を取得する。そして、処理部15は、入力コンテンツに対して、取得した対応情報を適用し、ぼやけを改善した出力コンテンツ(図29参照)を生成した、とする。
【0104】
次に、定性情報取得部16は、入力コンテンツの、予め決められた時空間アクティビティを取得し、当該時空間アクティビティから3次元グラフである入力コンテンツ特徴図を構成する。
【0105】
また、定性情報取得部16は、出力コンテンツの、予め決められた時空間アクティビティを取得し、当該時空間アクティビティから3次元グラフである出力コンテンツ特徴図を構成する。
【0106】
そして、出力部17は、定性情報取得部16が取得した入力コンテンツ特徴図と、出力コンテンツ特徴図とを出力する。また、出力部17は、出力コンテンツと入力コンテンツも出力する。かかる出力例が図30である。図30において、入力コンテンツ特徴図3001、出力コンテンツ特徴図3002、入力コンテンツ3003,および出力コンテンツ3004が同時に表示されている。
【0107】
そして、ユーザ(開発者)は、図30の出力を視て、処理情報の良し悪しを判断する。そして、処理情報が良くないと判断した場合、ユーザは、新しい処理情報(ここでは、特徴量ベクトルと対応付けられている対応情報)を開発し、コンテンツ処理装置1に入力する。そして、コンテンツ処理装置1の処理情報受付部14は、処理情報を受け付け、処理情報更新部19は当該処理情報を処理情報格納部11に上書きする。
【0108】
なお、入力コンテンツ特徴図または出力コンテンツ特徴図が、図31に示すような形状である場合、開発者は、入力コンテンツまたは出力コンテンツが、ノイズが極めて多い画像であると判断し、ノイズ除去するプログラムからなる処理情報を、処理情報格納部11に上書きする。
【0109】
また、入力コンテンツ特徴図または出力コンテンツ特徴図が、図32に示すような形状である場合、開発者は、入力コンテンツまたは出力コンテンツが、ディテールがある自然画であると判断し、自然画の解像度を最適に出力できる処理を行うプログラムからなる処理情報を、処理情報格納部11に上書きする。
【0110】
以上、本実施の形態によれば、入力コンテンツや出力コンテンツの特性を感覚的に評価することで、信号処理開発者は信号処理の改善のヒントを得ることができ、信号処理の開発をより効率的に行うことができる。
【0111】
また、本実施の形態によれば、ユーザ(開発者)が入力コンテンツや出力コンテンツの特性を感覚的に評価した結果を反映して、入力コンテンツから出力コンテンツを生成する処理を自動更新できる。
【0112】
なお、本実施の形態において、ユーザ(開発者)は画像評価にあたって、時空間アクティビティの算出方法を調整できることは好適である。具体的には、時空間アクティビティを取得する対象領域の形状や位置関係を調整したり、差の算出の方法を調整したりすることができることは好適である。また、図表示に関して、ユーザにとってわかりやすい表示形態(3次元グラフ画像、等高線、濃淡図等)をさまざまに選択可能であることは好適である。
【0113】
さらに、本実施の形態における処理は、ソフトウェアで実現しても良い。そして、このソフトウェアをソフトウェアダウンロード等により配布しても良い。また、このソフトウェアをCD−ROMなどの記録媒体に記録して流布しても良い。なお、このことは、本明細書における他の実施の形態においても該当する。なお、本実施の形態におけるコンテンツ処理装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、記憶媒体に、コンテンツに対して施す処理に関する情報である処理情報を格納しており、コンピュータを、入力コンテンツを受け付けるコンテンツ受付部と、前記入力コンテンツに対して、前記処理情報が示す処理を実行し、出力コンテンツを取得する処理部と、前記出力コンテンツの定性的な情報である出力定性情報、前記入力コンテンツの定性的な情報である入力定性情報のうちの1以上の定性情報を取得する定性情報取得部と、前記定性情報取得部が取得した定性情報を出力する出力部として機能させるためのプログラム、である。
【0114】
また、上記プログラムにおいて、前記出力部は、前記出力コンテンツ、前記入力コンテンツのうちの1以上のコンテンツをも出力するものとしてコンピュータを機能させることは好適である。
【0115】
また、上記プログラムにおいて、前記出力部が、少なくとも出力定性情報を出力した後、新しい処理情報を受け付ける処理情報受付部と、前記処理情報受付部が受け付けた処理情報を、前記処理情報格納部に上書きする処理情報更新部とをさらに具備するものとしてコンピュータを機能させることは好適である。
【0116】
また、上記プログラムにおいて、前記出力部が出力した出力定性情報を含む情報の評価を受け付ける評価受付部と、前記評価に応じて、新しい処理情報を構成する処理情報構成部と、前記処理情報構成部が構成した処理情報を、前記処理情報格納部に上書きする処理情報更新部とをさらに具備するものとしてコンピュータを機能させることは好適である。
【0117】
また、上記プログラムにおいて、前記出力定性情報は、前記出力コンテンツの2以上の特徴量を図的に示した出力コンテンツ特徴図であるものとしてコンピュータを機能させることは好適である。
【0118】
また、上記プログラムにおいて、前記出力コンテンツ特徴図は、前記出力コンテンツの時間および空間のアクティビティである2以上の出力時空間アクティビティを表現した図であるものとしてコンピュータを機能させることは好適である。
【0119】
また、上記プログラムにおいて、前記入力定性情報は、前記入力コンテンツの2以上の特徴量を図的に示した入力コンテンツ特徴図であるものとしてコンピュータを機能させることは好適である。
【0120】
また、上記プログラムにおいて、前記入力コンテンツ特徴図は、前記入力コンテンツの時間および空間のアクティビティである2以上の入力時空間アクティビティを表現した図であるものとしてコンピュータを機能させることは好適である。
【0121】
また、図28は、本明細書で述べたプログラムを実行して、上述した種々の実施の形態のコンテンツ処理装置を実現するコンピュータの外観を示す。上述の実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムで実現され得る。図28は、このコンピュータシステム340の概観図であり、図29は、システム340のブロック図である。
【0122】
図28において、コンピュータシステム340は、FD(Flexible Disk)ドライブ、CD−ROM(Compact Disk Read Only Memory)ドライブを含むコンピュータ341と、キーボード342と、マウス343と、モニタ344と、マイク345と、スピーカー346とを含む。
【0123】
図29において、コンピュータ341は、FDドライブ3411、CD−ROMドライブ3412に加えて、CPU(Central Processing Unit)3413と、CPU3413、CD−ROMドライブ3412及びFDドライブ3411に接続されたバス3414と、ブートアッププログラム等のプログラムを記憶するためのROM(Read−Only Memory)3415と、CPU3413に接続され、アプリケーションプログラムの命令を一時的に記憶するとともに一時記憶空間を提供するためのRAM(Random Access Memory)3416と、アプリケーションプログラム、システムプログラム、及びデータを記憶するためのハードディスク3417とを含む。ここでは、図示しないが、コンピュータ341は、さらに、LANへの接続を提供するネットワークカードを含んでも良い。
【0124】
コンピュータシステム340に、上述した実施の形態のコンテンツ処理装置の機能を実行させるプログラムは、CD−ROM3501、またはFD3502に記憶されて、CD−ROMドライブ3412またはFDドライブ3411に挿入され、さらにハードディスク3417に転送されても良い。これに代えて、プログラムは、図示しないネットワークを介してコンピュータ341に送信され、ハードディスク3417に記憶されても良い。プログラムは実行の際にRAM3416にロードされる。プログラムは、CD−ROM3501、FD3502またはネットワークから直接、ロードされても良い。
【0125】
プログラムは、コンピュータ341に、上述した実施の形態のコンテンツ処理装置の機能を実行させるオペレーティングシステム(OS)、またはサードパーティープログラム等は、必ずしも含まなくても良い。プログラムは、制御された態様で適切な機能(モジュール)を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいれば良い。コンピュータシステム340がどのように動作するかは周知であり、詳細な説明は省略する。
【0126】
なお、上記プログラムにおいて、ハードウェアによって行われる処理は含まれないことは言うまでもない。
【0127】
また、上記プログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。
【0128】
また、上記各実施の形態において、各処理(各機能)は、単一の装置(システム)によって集中処理されることによって実現されてもよく、あるいは、複数の装置によって分散処理されることによって実現されてもよい。
【0129】
本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。
【産業上の利用可能性】
【0130】
以上のように、本発明にかかるコンテンツ処理装置は、入力コンテンツや出力コンテンツの特性を感覚的に評価し、信号処理方式の改善をより効率的に行うことができる、という効果を有し、画像処理装置等として有用である。
【符号の説明】
【0131】
1 コンテンツ処理装置
11 処理情報格納部
12 コンテンツ受付部
13 評価受付部
14 処理情報受付部
15 処理部
16 定性情報取得部
17 出力部
18 処理情報構成部
19 処理情報更新部

【特許請求の範囲】
【請求項1】
コンテンツに対して施す処理に関する情報である処理情報を格納し得る処理情報格納部と、
入力コンテンツを受け付けるコンテンツ受付部と、
前記入力コンテンツに対して、前記処理情報が示す処理を実行し、出力コンテンツを取得する処理部と、
前記出力コンテンツの定性的な情報である出力定性情報、前記入力コンテンツの定性的な情報である入力定性情報のうちの1以上の定性情報を取得する定性情報取得部と、
前記定性情報取得部が取得した定性情報を出力する出力部とを具備するコンテンツ処理装置。
【請求項2】
前記出力部は、
前記出力コンテンツ、前記入力コンテンツのうちの1以上のコンテンツをも出力する請求項1記載のコンテンツ処理装置。
【請求項3】
前記出力部が、少なくとも出力定性情報を出力した後、新しい処理情報を受け付ける処理情報受付部と、
前記処理情報受付部が受け付けた処理情報を、前記処理情報格納部に上書きする処理情報更新部とをさらに具備する請求項1または請求項2記載のコンテンツ処理装置。
【請求項4】
前記出力部が出力した出力定性情報を含む情報の評価を受け付ける評価受付部と、
前記評価に応じて、新しい処理情報を構成する処理情報構成部と、
前記処理情報構成部が構成した処理情報を、前記処理情報格納部に上書きする処理情報更新部とをさらに具備する請求項1または請求項2記載のコンテンツ処理装置。
【請求項5】
前記出力定性情報は、
前記出力コンテンツの2以上の特徴量を図的に示した出力コンテンツ特徴図である請求項1から請求項4いずれか記載のコンテンツ処理装置。
【請求項6】
前記出力コンテンツ特徴図は、
前記出力コンテンツの時間および空間のアクティビティである2以上の出力時空間アクティビティを表現した図である請求項5記載のコンテンツ処理装置。
【請求項7】
前記入力定性情報は、
前記入力コンテンツの2以上の特徴量を図的に示した入力コンテンツ特徴図である請求項1から請求項4いずれか記載のコンテンツ処理装置。
【請求項8】
前記入力コンテンツ特徴図は、
前記入力コンテンツの時間および空間のアクティビティである2以上の入力時空間アクティビティを表現した図である請求項7記載のコンテンツ処理装置。
【請求項9】
前記処理情報は、
第一の処理を行う第一処理情報と、第二の処理を行う第二処理情報とを少なくとも有し、
前記処理部は、
前記入力コンテンツに対して、前記第一処理情報が示す処理を実行し、中間コンテンツを取得する第一処理手段と、
前記中間コンテンツまたは前記中間コンテンツから取得されたコンテンツに対して、前記第二処理情報が示す処理を実行し、出力コンテンツを取得する第二処理手段とを具備し、
前記出力部は、
前記中間コンテンツをも出力する請求項1から請求項8いずれか記載のコンテンツ処理装置。
【請求項10】
前記処理情報は、
第一の処理を行う第一処理情報と、第二の処理を行う第二処理情報とを少なくとも有し、
前記処理部は、
前記入力コンテンツに対して、前記第一処理情報が示す処理を実行し、中間コンテンツを取得する第一処理手段と、
前記中間コンテンツまたは前記中間コンテンツから取得されたコンテンツに対して、前記第二処理情報が示す処理を実行し、出力コンテンツを取得する第二処理手段とを具備し、
前記定性情報取得部は、
前記中間コンテンツの定性的な情報である中間定性情報をも取得し、
前記出力部は、
前記中間定性情報をも出力する請求項1から請求項8いずれか記載のコンテンツ処理装置。
【請求項11】
前記入力コンテンツおよび前記出力コンテンツは、画像である請求項1から請求項10いずれか記載のコンテンツ処理装置。
【請求項12】
前記入力コンテンツおよび前記出力コンテンツは、音情報である請求項1から請求項10いずれか記載のコンテンツ処理装置。
【請求項13】
記憶媒体に、
コンテンツに対して施す処理に関する情報である処理情報を格納しており、
コンテンツ受付部、処理部、定性情報取得部、および出力部により実現されるコンテンツ処理方法であって、
前記コンテンツ受付部が、入力コンテンツを受け付けるコンテンツ受付ステップと、
前記処理部が、前記入力コンテンツに対して、前記処理情報が示す処理を実行し、出力コンテンツを取得する処理ステップと、
前記定性情報取得部が、前記出力コンテンツの定性的な情報である出力定性情報、前記入力コンテンツの定性的な情報である入力定性情報のうちの1以上の定性情報を取得する定性情報取得ステップと、
前記出力部が、前記定性情報取得ステップで取得された定性情報を出力する出力ステップを具備するコンテンツ処理方法。
【請求項14】
記憶媒体に、
コンテンツに対して施す処理に関する情報である処理情報を格納しており、
コンピュータを、
入力コンテンツを受け付けるコンテンツ受付部と、
前記入力コンテンツに対して、前記処理情報が示す処理を実行し、出力コンテンツを取得する処理部と、
前記出力コンテンツの定性的な情報である出力定性情報、前記入力コンテンツの定性的な情報である入力定性情報のうちの1以上の定性情報を取得する定性情報取得部と、
前記定性情報取得部が取得した定性情報を出力する出力部として機能させるためのプログラム。

【図1】
image rotate

【図27】
image rotate

【図33】
image rotate

【図34】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図21】
image rotate

【図22】
image rotate

【図23】
image rotate

【図24】
image rotate

【図25】
image rotate

【図26】
image rotate

【図28】
image rotate

【図29】
image rotate

【図30】
image rotate

【図31】
image rotate

【図32】
image rotate


【公開番号】特開2013−38588(P2013−38588A)
【公開日】平成25年2月21日(2013.2.21)
【国際特許分類】
【出願番号】特願2011−172947(P2011−172947)
【出願日】平成23年8月8日(2011.8.8)
【出願人】(509281519)アイキューブド研究所株式会社 (11)
【Fターム(参考)】