説明

画像処理装置、画像処理方法、およびプログラム

【課題】従来、高品質な画像を出力できなかった。
【解決手段】1以上の第一の画像の全部または一部と、当該第一の画像とは異なる第二の画像の全部または一部との対応を取るための情報である1または2以上の対応情報を有するルックアップテーブルを格納し得る格納部と、入力画像、対応情報、または出力画像のうちの1種類以上の情報が満たすべき条件である拘束条件を格納し得る拘束条件格納部と、1以上の画像を受け付ける画像受付部と、前記1または2以上の対応情報のうちのいずれかの対応情報を用いて、前記画像受付部が受け付けた1以上の画像の全部または一部分に対応する1以上の第二の画像の全部または一部分を、前記拘束条件に合致するように取得するマッピング部と、前記マッピング部が取得した1以上の第二の画像の全部または一部分から構成される出力画像を出力する画像出力部とを具備する画像処理装置により、高品質な画像を出力できる。

【発明の詳細な説明】
【技術分野】
【0001】
本発明は、画像を処理する画像処理装置等に関するものである。
【背景技術】
【0002】
従来、実在する入力画像データと対応する画素間の所定の画素の画像データを実在する入力画像データによって補間生成するためのディジタル画像信号の補間装置において、実在する入力画像データを受け取り、所定の画素の周辺位置に存在する所定数の実在する画素データを抽出する手段と、係数を求めるための画素データを用いて、補間値と真値との誤差の自乗和が最小となるように最小自乗法により予め定められた所定数の係数と、抽出された上記所定数の実在する画素データとの線形1次結合により、所定の画素の画素データを補間生成する手段とからなることを特徴とするディジタル画像信号の補間装置があった(特許文献1参照)。
【0003】
また、第1のディジタルビデオ信号から上記第1のディジタルビデオ信号より画素数の多い第2のディジタルビデオ信号を生成するディジタルビデオ信号変換装置があった(特許文献2参照)。
【先行技術文献】
【特許文献】
【0004】
【特許文献1】特許第2825482号公報(第1頁、第1図等)
【特許文献2】特許第3072306号公報(第1頁、第1図等)
【発明の概要】
【発明が解決しようとする課題】
【0005】
しかしながら、従来の技術においては、十分に高品質な画像を出力できない場合もあった。さらに具体的には、従来の技術においては、画像変換装置で変換して取得した画像が、予め決められた条件に合致せず、ユーザにとって不都合のある画像である場合があった。なお、予め決められた条件に合致しない場合は、例えば、画像変換装置で変換して取得した画像が有する連続する複数の画素の値が255以上である場合などである。
【課題を解決するための手段】
【0006】
本第一の発明の画像処理装置は、1以上の第一の画像の全部または一部と、第一の画像とは異なる第二の画像の全部または一部との対応を取るための情報である1または2以上の対応情報を有するルックアップテーブルを格納し得る格納部と、入力画像、対応情報、または出力画像のうちの1種類以上の情報が満たすべき条件である拘束条件を格納し得る拘束条件格納部と、1以上の画像を受け付ける画像受付部と、1または2以上の対応情報のうちのいずれかの対応情報を用いて、画像受付部が受け付けた1以上の画像の全部または一部分に対応する1以上の第二の画像の全部または一部分を、拘束条件に合致するように取得するマッピング部と、マッピング部が取得した1以上の第二の画像の全部または一部分から構成される出力画像を出力する画像出力部とを具備する画像処理装置である。
【0007】
かかる構成により、高品質な画像を出力できる。
【0008】
また、本第二の発明の画像処理装置は、第一の発明に対して、拘束条件は、出力画像が満たすべき条件であり、マッピング部は、1または2以上の対応情報のうちのいずれかの対応情報を用いて、第二の画像の全部または一部分を取得する出力画像候補取得手段と、出力画像候補取得手段が取得した第二の画像の全部または一部分が、拘束条件を満たすか否かを判断する判断手段と、判断手段が拘束条件を満たさないと判断した場合に、第二の画像の全部または一部分を、拘束条件を満たすように変更して、変更画像を取得する変更手段と、判断手段が拘束条件を満たすと判断した第二の画像の全部または一部分、または変更手段が取得した変更画像、または判断手段が拘束条件を満たすと判断した第二の画像の全部または一部分と変更手段が取得した変更画像を用いて、出力画像を取得する出力画像取得手段とを具備する画像処理装置である。
【0009】
かかる構成により、高品質な画像を出力できる。
【0010】
また、本第三の発明の画像処理装置は、第二の発明に対して、ルックアップテーブルは、2以上の対応情報を有し、画像受付部が受け付けた1以上の画像の全部または一部分に対応する第一の画像の全部または一部分を決定する画像解析部をさらに具備し、出力画像候補取得手段は、画像解析部が決定した第一の画像の全部または一部分に対応する対応情報を用いて、画像解析部が決定した第一の画像の全部または一部分に対応する第二の画像を取得する画像処理装置である。
【0011】
かかる構成により、高品質な画像を出力できる。
【0012】
また、本第四の発明の画像処理装置は、第一の発明に対して、拘束条件は、入力画像が満たすべき条件であり、マッピング部は、画像受付部が受け付けた画像の一部の1以上の特徴量が、拘束条件を満たすか否かを判断する判断手段と、判断手段が拘束条件を満たさないと判断した場合に、画像の一部の予め決められた範囲の周辺画素の1以上の特徴量を用いて、画像の一部の1以上の特徴量を取得する変更手段と、変更手段が取得した1以上の特徴量、または画像受付部が受け付けた画像の一部の1以上の特徴量を用いて、1以上の第二の画像の一部分を取得する出力画像取得手段とを具備する画像処理装置である。
【0013】
かかる構成により、高品質な画像を出力できる。
【0014】
また、本第五の発明の画像処理装置は、第一の発明に対して、ルックアップテーブルは、2以上の対応情報を有し、画像受付部が受け付けた1以上の画像の全部または一部分に対応する第一の画像の全部または一部分を決定する画像解析部をさらに具備し、拘束条件は、連続して同一の対応情報を使用しないことであり、マッピング部は、1以上の第二の画像の全部または一部分を取得するために用いる対応情報を取得し、拘束条件に従って、対応情報が直前に使用した対応情報と同一か否かを判断する判断手段と、判断手段が拘束条件を満たさないと判断した場合に、画像解析部に決定した第一の画像の全部または一部分を除いて、再度、第一の画像の全部または一部分を決定する指示を画像解析部に出し、決定された第一の画像の全部または一部分に対応する対応情報を取得する変更手段と、変更手段が取得した対応情報を用いて、1以上の第二の画像の一部分を取得する出力画像取得手段とを具備し、マッピング部は、少なくとも最近に使用した対応情報を特定する情報を保持する画像処理装置である。
【0015】
かかる構成により、高品質な画像を出力できる。
【0016】
また、本第六の発明の画像処理装置は、第一から第五いずれかの発明に対して、第一の画像の全部または一部分は、入力される映像のうちの一部である第一の時空間ブロックであり、第二の画像の全部または一部分は、画面に出力される映像のうちの一部である第二の時空間ブロックであり、画像受付部は、1以上の画像の集合である映像を受け付け、画像受付部が受け付けた映像を、空間的、または時間的、または空間的かつ時間的に2以上に分割し、2以上の第一の時空間ブロックを取得する分割部と、マッピング部が取得した2以上の各出力画像の全部または一部分を、2以上の各出力画像の全部または一部分に対応する第一の時空間ブロックの時間的、または空間的、または空間的かつ時間的な位置に配置し、出力画像を生成する合成部とをさらに具備し、画像出力部は、合成部が生成した出力画像を出力する画像処理装置である。
【0017】
かかる構成により、高品質な画像を出力できる。
【0018】
また、本第七の発明の画像処理装置は、第一から第六いずれかの発明に対して、対応情報は、一の環境で得られた一の対象についての第一の画像の全部または一部分の1以上の特徴量と、第一の画像の全部または一部分に対応する第二の画像の全部または一部分を生成するための演算式、または演算式に代入するパラメータの集合とを有する情報である画像処理装置である。
【0019】
かかる構成により、高品質な画像を出力できる。
【0020】
また、本第八の発明の画像処理装置は、第一から第七いずれかの発明に対して、格納部は、ルックアップテーブルの種類を識別する種類識別子と種類識別子に対応するルックアップテーブルとの組を2組以上格納しており、マッピング部は、利用するルックアップテーブルの種類を識別する1以上の種類識別子を取得する種類識別子取得手段を具備し、マッピング部は、1以上の種類識別子に対応する1以上のルックアップテーブルが有するいずれかの対応情報を用いて、画像受付部が受け付けた1以上の画像の全部または一部分に対応する1以上の第二の画像の全部または一部分を、拘束条件に合致するように取得する画像処理装置である。
【0021】
かかる構成により、高品質な画像を出力できる。
【0022】
また、本第九の発明の画像処理装置は、第一から第八いずれかの発明に対して、ユーザの指示を受け付ける指示受付部と、指示に応じて、ルックアップテーブルが有する1以上の対応情報のいずれかを変更するルックアップテーブル更新部とをさらに具備する画像処理装置である。
【0023】
かかる構成により、高品質な画像を出力できる。
【発明の効果】
【0024】
本発明による画像処理装置によれば、高品質な画像を出力できる。
【図面の簡単な説明】
【0025】
【図1】実施の形態1における画像処理装置1のブロック図
【図2】同画像処理装置1の動作について説明するフローチャート
【図3】同画像解析処理について説明するフローチャート
【図4】同マッピング処理について説明するフローチャート
【図5】同種類識別子取得処理について説明するフローチャート
【図6】同ルックアップテーブル更新処理について説明するフローチャート
【図7】同他の画像処理装置1のブロック図
【図8】実施の形態2における画像処理装置2のブロック図
【図9】同画像処理装置2の動作について説明するフローチャート
【図10】同他の画像処理装置2のブロック図
【図11】実施の形態3におけるルックアップテーブル取得装置3のブロック図
【図12】同ルックアップテーブル取得装置3における第二の画像を選択する動作について説明するフローチャート
【図13】同ルックアップテーブル取得装置3におけるルックアップテーブルを構成する動作について説明するフローチャート
【図14】同複数の第二画像情報候補集合の例を示す図
【図15】同かかる第二画像情報候補集合の出力例を示す図
【図16】実施の形態4における第一の画像の例を示す図
【図17】同第二の画像の例を示す図
【図18】同第一の時空間ブロックの例を示す図
【図19】同第二の時空間ブロックの例を示す図
【図20】同ルックアップテーブル構成部の動作を説明する概念図
【図21】同ルックアップテーブル構成部の処理の概念図
【図22】同ルックアップテーブル構成部の処理の概念図
【図23】同ルックアップテーブルの例を示す図
【図24】実施の形態5における画像処理装置4のブロック図
【図25】同被写界深度の浅い画像の例を示す図
【図26】同マッピング部の処理の概念図
【図27】実施の形態6における画像処理装置5のブロック図
【図28】同拘束情報の例を示す図
【図29】同画像処理装置5の動作について説明するフローチャート
【図30】同マッピング処理について説明するフローチャート
【図31】同拘束条件決定処理について説明するフローチャート
【図32】実施の形態7における画像処理装置6のブロック図
【図33】同LUT変更情報管理表の例を示す図
【図34】同画像処理装置6の動作について、図34のフローチャートの動作について説明するフローチャート
【図35】同マッピング処理について説明するフローチャート
【図36】同LUT決定処理について説明するフローチャート
【図37】実施の形態8における画像学習装置7のブロック図
【図38】上記実施の形態における同コンピュータシステムの概観図
【図39】同コンピュータシステムのブロック図
【発明を実施するための形態】
【0026】
以下、画像処理装置等の実施形態について図面を参照して説明する。なお、実施の形態において同じ符号を付した構成要素は同様の動作を行うので、再度の説明を省略する場合がある。
【0027】
(実施の形態1)
本実施の形態において、後述するルックアップテーブルを用いて、目的に応じて、受け付けた画像に対して、脳負荷が調整された画像を取得する画像処理装置1について説明する。なお、目的に応じて脳負荷が調整された画像とは、例えば、視聴時に脳負荷をより低減できる画像や、視聴時により脳に刺激を与えエンターテインメント性が増加する画像などである。視聴時に脳の負荷をより低減できる画像とは、例えば対象をより認知しやすい画像のことである。また、目的とは、通常、視聴者の画像視聴時の目的であり、例えば、リラックスして視聴したいという目的、できるだけ疲れずに長時間視聴したいという目的、エンターテインメント性を味わいたいという目的等がある。
【0028】
また、本実施の形態において、目的に応じて脳負荷が調整された画像を取得する処理は、例えば、時空間ブロックごとに処理を行う。時空間ブロックについての説明は、後述する。
【0029】
また、本実施の形態において、ルックアップテーブルはカスタマイズ可能である。
【0030】
また、本実施の形態において、画像処理装置1は、出力候補の画像が所定の条件を満たさない場合に、当該所定の条件を満たすように変換する機能を有する。
【0031】
図1は、本実施の形態における画像処理装置1のブロック図である。
【0032】
画像処理装置1は、格納部101、拘束条件格納部102、指示受付部103、画像受付部104、分割部105、画像解析部106、マッピング部107、合成部108、画像出力部109、およびルックアップテーブル更新部110を具備する。
【0033】
マッピング部107は、例えば、種類識別子取得手段1071、出力画像候補取得手段1072、判断手段1073、変更手段1074、および出力画像取得手段1075を具備する。
【0034】
格納部101は、1以上のルックアップテーブルを格納し得る。格納部101は、ルックアップテーブルの種類を識別する種類識別子と種類識別子に対応するルックアップテーブルとの組を2組以上格納していても良い。なお、ルックアップテーブルのデータ構造は、テーブル構造とは限らない。ルックアップテーブルのデータ構造は、問わない。また、ルックアップテーブルの種類とは、ルックアップテーブルそのものであっても良いことは言うまでもない。
【0035】
ここで、ルックアップテーブルは、1または2以上の対応情報を有する。対応情報は、1以上の第一の画像の全部または一部分と、1以上の第二の画像の全部または一部分との対応を取るための情報である。ルックアップテーブルが有する対応情報が一つの場合、かかる対応情報は、例えば、画像を変換する演算式や、画像を変換する演算式に与える1以上のパラメータ群である。対応情報は、例えば、時空間ブロックの画素値の中央値を算出する演算式でも良い。
【0036】
また、1以上の第一の画像の全部または一部分および1以上の第二の画像の全部または一部分は、出力される一画面の画像でも良いし、一画面の一部のブロックの画像でも良いし、一画素でも良いし、時間的に連続する複数画面でも良いし、時間的に連続する複数画面の空間上の一部分(後述する時空間ブロック)でも良いし、時間的に連続する複数画面の連続する一画素の集合などでも良い。つまり、第一の画像および第二の画像の情報量の単位は問わない。なお、時空間ブロックとは、通常、映像を、空間的、または時間的、または空間的かつ時間的に分割した一部分をいう。ただし、時空間ブロックは、画素の集合であれば良い。つまり、時空間ブロックは、矩形の連続領域とは限らない。時空間ブロックは、非矩形かつ不連続な画像の領域でも良い。また、画像を分割されて取得された複数の時空間ブロックは、一部に重複した画素を有するものでも良い。
【0037】
ここで、第一の画像と第二の画像とは、同一の対象についての異なる画像である。例えば、第一の画像は少ない画素数の画像(例えば、SDビデオ信号による画像)であり、第二の画像は第一の画像より多い画素数の画像(例えば、HDビデオ信号による画像)である。かかる場合、ルックアップテーブルは、例えば、画素数の少ない画像の画像データから画素数の多い画像の画像データを復元する演算式および演算パラメータである。
【0038】
第二の画像は、例えば、第一の画像より、視聴する場合に、脳の負荷をより低減できる画像である。また、第二の画像は、第一の画像より、通常、一の対象を認知する場合の脳の負荷をより低減できる画像である。脳の負荷をより低減できる画像とは、脳が、質感、遠近感、存在感、臨場感、重量感、温もり感、ひんやり感、スピード感、躍動感、動きの滑らかさ、新鮮な感じ、高級感などのうちの1以上の属性を、より感じる画像である。なお、属性は画像によって異なる。なお、質感とは、材質感、光沢感、透明感、ふんわり感、しっとり感など、画像に含まれる対象の質感である。また、遠近感とは、解像感、立体感、奥行き感、空気感などとも言える。
【0039】
なお、脳の負荷を低減できる画像とは、脳に好適に感じられる画像と言い換えても良い。
【0040】
また、1以上の第一の画像より脳の負荷を低減できる1以上の第二の画像は、例えば、1以上の第一の画像と異なる環境で取得され得る1以上の画像である。つまり、かかる場合、例えば、1以上の第一の画像と、1以上の第二の画像は、画像を取得する環境が異なる。
【0041】
第一の画像とは、例えば、一の環境で得られた一の対象についての画像である。また、第二の画像とは、例えば、他環境で得られた前記一の対象についての画像である。また、第一の画像とは、例えば、一の環境で一の対象を撮影した画像である。また、第二の画像とは、例えば、他環境で前記一の対象を撮影した画像である。また、かかる場合、第二の画像と第一の画像は、通常、同一の画素数であるが、異なる画素数でも良い。なお、一の対象を撮影した画像とは、一の対象を撮影したに等しい、作り出した画像でも良い。
【0042】
また、他環境とは、一の環境とは異なる環境であり、一の環境より目的に合致した画像を撮影できる環境である。また、他環境とは、例えば、一の環境より脳負荷を低減できる画像を撮影できる環境である。他環境とは、例えば、以下の(1)から(9)のような環境である。(1)一の環境より照明(光源)の光量が多い環境、(2)一の環境と比較して、画像上のオブジェクトの陰が良く表出する光源の位置の環境、(3)一の環境と比較して、画像上のオブジェクトの立体感が良く表出する光源の位置の環境、(4)一の環境と比較して、画像上のオブジェクトの立体感が良く表出するカメラ位置の環境、(5)一の環境と照明の色が異なる環境、(6)一の環境と異なる天候の環境、(7)一の環境と異なる温度や湿度の環境、(8)一の環境と異なる被写界深度の環境、(9)一の環境と異なるシャッター速度の環境などである。
【0043】
つまり、一の環境と他環境とでは、例えば、光量、光源の位置、光源の色、カメラの位置、カメラの設定などの撮影環境が異なる。また、環境とは、通常、撮影環境であるが、画像を取得する環境に関するものであれば何でも良い。
【0044】
また、第一の画像に対して、脳負荷が調整された第二の画像は、例えば、第一の画像よりエンターテインメント性が向上する画像も含む。エンターテインメント性が向上する画像は、エンターテインメント性を嗜好するユーザにとって、脳に好適に感じられる画像である。脳に好適に感じられる画像とは、脳における刺激を楽しむことができる画像とも言える。また、エンターテインメント性が向上する複数の画像(映像)は、例えば、一部にフラッシュ画面が挿入されている映像である。
【0045】
なお、脳負荷が調整された第二の画像が、第一の画像よりエンターテインメント性が向上する画像である場合、かかる第二の画像は、脳への刺激をより楽しむことができるが、脳の負荷がより増加する場合もあり得る。
【0046】
また、第一の画像より、目的に応じて脳負荷が調整された第二の画像は、例えば、一の対象を撮影して得られた第一の画像に対して、当該第一の画像をデフォルメした画像である。第一の画像をデフォルメした第二の画像は、例えば、第一の画像に映っている人物の似顔絵画像である。似顔絵画像等のデフォルメした画像は、ユーザにとって、対象を認識し易く、対象の認知の際に、脳負荷が低減されるように、脳負荷が調整された画像であると言える。
【0047】
また、第一の画像より、目的に応じて脳負荷が調整された第二の画像は、例えば、一の対象を撮影して得られた第一の画像に対して、当該一の対象を描写した絵画を撮影した画像である。対象を描写することで、対象の持つ概念がよりわかりやすく表現されることがある。すなわち、対象を直接撮影した画像より、対象を描写した絵画を撮影した画像の方が、脳負荷が低減できるように、脳負荷が調整された画像であると言える。
【0048】
また、第一の画像より、目的に応じて脳負荷が調整された第二の画像は、例えば、一の対象を撮影して得られた第一の画像に対して、当該第一の画像のCG画像である。対象によって、撮影画像より、CG画像の方が、脳負荷が低減できるように、脳負荷が調整された画像であると言える。
【0049】
また、対応情報は、例えば、第一画像関連情報と第二画像関連情報との対である。第一画像関連情報は、1以上の第一の画像の全部または一部分に関する情報である。第二画像関連情報は、1以上の第二の画像の全部または一部分に関する情報である。第一画像関連情報は、例えば、1以上の第一の画像の全部または一部分から抽出される1以上の特徴量である。また、第二画像関連情報は、例えば、1以上の第二の画像の全部または一部分である。また、第二画像関連情報は、例えば、1以上の第二の画像の全部または一部分を生成する演算式である。また、第二画像関連情報は、例えば、1以上の第二の画像の全部または一部分を生成する演算式に与えるパラメータ群の対である。かかる場合、演算式は、マッピング部107が保持している。また、画像から抽出される1以上の特徴量には、例えば、1以上の画像の一部の特徴量である近傍特徴量と、1以上の画像全体の特徴量である全体特徴量とがある。近傍特徴量には、例えば、画素値、アクティビティ、時空間相関、動きベクトル、周波数分布などがある。また、アクティビティとは、例えば、複数の画素の最大値および最小値、ダイナミックレンジ(DR)、複数の画素の間の差分値などである。複数の画素の間の差分値は、空間内の複数画素間の差分値でも良いし、時間方向の複数画素間の差分値でも良いし、空間内および時間方向の複数画素間の差分値でも良い。また、全体特徴量には、例えば、画像全体の画素値分布、画像全体の動きベクトル分布、1または2以上の画像全体の時空間相関、画像全体のノイズ量、画像フォーマット、画像全体の編集に関する情報(PinPであるか否か、PoutPであるか否か、テロップの有無など)、1以上の画像であるコンテンツに関するコンテンツ情報、パターン検出結果(顔など)などである。ここで、コンテンツ情報とは、例えば、電子番組表(EPG)が有する番組のジャンル、タイトル、出演者名等である。なお、1以上の特徴量を、適宜、特徴量ベクトルとも言う。
【0050】
格納部101は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。特に、格納部101は、不揮発性のRAMであることが好適である。また、格納部101にルックアップテーブルが記憶される過程は問わない。例えば、記録媒体を介してルックアップテーブルが格納部101で記憶されるようになってもよく、通信回線等を介して送信されたルックアップテーブルが格納部101で記憶されるようになってもよく、あるいは、入力デバイスを介して入力されたルックアップテーブルが格納部101で記憶されるようになってもよい。
【0051】
拘束条件格納部102は、拘束条件を格納し得る。拘束条件とは、画像処理装置1におけるいずれかの処理に関する条件である。処理に関する条件とは、例えば、処理対象である画像(入力画像)の全部または一部に対する条件である。また、処理に関する条件とは、例えば、処理に利用されるルックアップテーブルに関する条件である。また、処理に関する条件とは、例えば、出力画像に関する条件である。拘束条件とは、入力画像、対応情報、または出力画像のうちの1種類以上の情報が満たすべき条件であると言える。また、処理対象である画像(入力画像)の全部または一部に対する条件とは、例えば、処理対象の1以上の特徴量(例えば、輝度、画素値など)をパラメータとする条件である。入力画像の全部または一部に対する条件は、例えば、画素値が正常範囲を逸脱していないことである。なお、画素値の正常範囲は予め格納されている。また、ルックアップテーブルに関する条件とは、例えば、ルックアップテーブルが有する対応情報の選択頻度などの選択に関する条件である。ルックアップテーブルに関する条件は、例えば、直前で使用された対応情報と同じ対応情報を使用しないことである。また、ルックアップテーブルに関する条件は、例えば、第一の特定の条件下では連続して同一の対応情報を使用すること、第二の特定条件下では特定の対応情報を固定的に使用すること、第三の特定の条件下では連続して同一の対応情報を使用しないこと、第四の特定の条件下では特定の対応情報を使用しないこと等である。また、例えば、出力画像に関する条件とは、出力画像象の1以上の特徴量(例えば、輝度、画素値など)をパラメータとする条件である。出力画像に関する条件とは、マッピング部107が取得した1以上の第二の画像の全部または一部分が満たすべき拘束条件である、と言える。出力画像に関する条件は、例えば、アクティビティが閾値以内であることなどである。また、出力画像に関する条件は、例えば、画素の最大値「画素の値<=255」、画素の最小値「画素の値>=10」、画素の値の変化Δについての「画素の輝度の時間的な変化<=100」、ダイナミックレンジ「DR<=200」などである。拘束条件は、画像処理を行うプログラム中に埋め込まれていても良いことは言うまでもない。
【0052】
また、拘束条件は、入力画像の全部または一部に対する条件、ルックアップテーブルに関する条件、出力画像に関する条件のうち、2種類以上の条件を含んでも良い。かかる拘束条件は、例えば、入力画像の画素値と出力画像の画素値との差が、閾値より大きいことである。なお、閾値は予め格納されている。
【0053】
拘束条件格納部102は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。拘束条件格納部102に拘束条件が記憶される過程は問わない。例えば、記録媒体を介して拘束条件が拘束条件格納部102で記憶されるようになってもよく、通信回線等を介して送信された拘束条件が拘束条件格納部102で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された拘束条件が拘束条件格納部102で記憶されるようになってもよい。
【0054】
指示受付部103は、指示を受け付ける。指示は、ユーザから受け付けても良いし、外部の記録媒体から読み出しても良いし、外部の装置から受信しても良い。また、指示は、放送装置から送信される放送に埋め込まれていても良い。なお、指示は、ユーザの嗜好等に合致するようにルックアップテーブルを変更する指示である。指示は、例えば、画像の立体感の度合いを含む。また、指示は、例えば、出力されている1以上の各第二画像情報候補集合が有する2以上の第二の画像の候補のうち、1以上の第二の画像の候補を選択する指示である。かかる選択は、ユーザの嗜好に合致する画像を選択する指示である。また、指示は、例えば、年齢や年齢層(30歳代、60歳代など)や性別や近視や老視・調節障害の有無などのユーザ属性を含んでも良い。また、指示は、例えば、目的や課題や嗜好である。目的や課題や嗜好には、「画像が見えにくいのでもっとよく見えるようにしたい」、「画像が暗くて見えにくい」「もっと派手な画が見たい」といった例がある。つまり、指示の内容や種類は、種々あり得る。
【0055】
また、受け付けとは、リモコンやキーボードやマウス、タッチパネルなどの入力デバイスから入力された情報の受け付け、有線もしくは無線の通信回線を介して送信された情報の受信、光ディスクや磁気ディスク、半導体メモリなどの記録媒体から読み出された情報の受け付けなどを含む概念である。指示の入力手段は、リモコンやテンキーやキーボードやマウスやメニュー画面によるもの等、何でも良い。指示受付部103は、テンキーやキーボード等の入力手段のデバイスドライバーや、メニュー画面の制御ソフトウェア等で実現され得る。
【0056】
画像受付部104は、画像を受け付ける。また、画像受付部104は、1以上の画像の集合である映像を受け付けても良い。ここで、画像とは、一の静止画でも良いし、2以上の静止画から構成される動画でも良い。画像受付部104は、例えば、テレビジョンチューナーや、無線または有線の受信手段等により実現され得る。なお、画像の受け付けとは、記録媒体からの画像の読み出し等でも良い。つまり、画像を受け付ける手段は問わない。
【0057】
分割部105は、画像受付部104が受け付けた画像(静止画でも動画でも良い)を、空間的、または時間的、または空間的かつ時間的に2以上に分割し、2以上の第一の時空間ブロックを取得する。なお、上述した通り、画像を分割して取得された複数の時空間ブロックは、重複した領域を含んでも良い。また、上述した通り、画像を分割して取得された複数の時空間ブロックは、矩形の連続領域とは限らない。時空間ブロックは、非矩形かつ不連続な画像の領域でも良い。また、分割部105は、例えば、1画面(1フィールドまたは1フレーム)を4つに分割しても良いし、n画面(nは2以上の整数)を8つに分割しても良い。なお、分割する数は問わない。また、分割部105は、画像から1画素ずつ取得して、画像解析部106に渡しても良い。つまり、時空間ブロックは1画素でも良い。画像出力装置1がSDビデオ信号をHDビデオ信号にアップコンバージョンする装置である場合、分割部105は、例えば、(2×2×8ビット=32ビット)のブロックに変換されたビデオ信号を発生させる。
【0058】
分割部105は、通常、MPUやメモリ等から実現され得る。分割部105の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
【0059】
画像解析部106は、画像受付部104が受け付けた1以上の画像の全部または一部分に対応する第一の画像の全部または一部分を決定する。例えば、画像解析部106は、分割部105が取得した2以上の各第一の時空間ブロックごとに、各第一の時空間ブロックに対応する第一の画像の全部または一部分を決定しても良い。なお、画像解析部106は、2以上の第一の画像の全部または一部分を決定しても良い。
【0060】
また、例えば、画像解析部106は、画像受付部104が受け付けた画像、または分割部105が取得した2以上の各第一の時空間ブロックを解析し、1以上の特徴量を取得し、1以上の特徴量に対応する第一の画像の全部または一部分を決定する。ここで、1以上の特徴量とは、例えば、上述した近傍特徴量、全体特徴量のうちの1以上の特徴量である。なお、画像解析部106は、画像受付部104が受け付けた1以上の画像の全部または一部分を解析し、1以上の特徴量を取得する処理だけでも良い。なお、画像解析部106が取得する特徴量は、全体特徴量と近傍特徴量の両方を含むことが好適である。
【0061】
また、1以上の特徴量に対応する第一の画像の全部または一部分を決定する処理は、例えば、取得した特徴量ベクトルと、各対応情報が有する第一の画像の全部または一部分の特徴量ベクトルとの距離を算出し、当該距離が最小の第一の画像の全部または一部分の特徴量ベクトルに対応するパラメータ群、または演算式等を取得する処理である。
【0062】
また、1以上の特徴量に対応する第一の画像の全部または一部分を決定する処理は、例えば、取得した特徴量ベクトルからルックアップテーブルのアドレスを算出する処理である。なお、ルックアップテーブルのアドレスを算出する処理は、予め格納されている演算式に特徴量ベクトルを代入し、演算する処理である。
【0063】
また、画像出力装置1がSDビデオ信号をHDビデオ信号にアップコンバージョンする装置である場合、画像解析部106は、例えば、ブロックの画素データの最大値MAX、その最小値MIN、(MAX−MIN=DR)で表されるダイナミックレンジDRを検出する回路と、ダイナミックレンジDRを24 等分して、量子化ステップを発生する回路と、最小値MINを減算することで、そのブロックの画素データを正規化する減算回路と、減算回路の出力を量子化ステップで割算する、すなわち、再量子化する量子化回路とを含む。そして、画像解析部106は、例えば、ブロック毎のダイナミックレンジDR、最小値MIN、各画素と対応する4ビットのコード信号DTとを取得する。
【0064】
そして、画像解析部106は、コード信号DT(1ブロックで16ビット)に対応する対応情報を、ルックアップテーブルから取得する。つまり、画像解析部106は、入力されたSDビデオ信号の各ブロックに対応する第一の画像を決定する。
【0065】
画像解析部106は、通常、MPUやメモリ等から実現され得る。画像解析部106の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
【0066】
マッピング部107は、ルックアップテーブル中の1または2以上の対応情報のうちのいずれかの対応情報を用いて、画像受付部104が受け付けた1以上の画像の全部または一部分に対応する1以上の第二の画像の全部または一部分を取得する。また、例えば、マッピング部107は、画像解析部106が決定した第一の画像の全部または一部分に対応する対応情報を用いて(対応情報の一部(例えば、パラメータ群)を用いることも含む)、画像解析部106が決定した第一の画像の全部または一部分に対応する第二の画像の全部または一部分を、出力画像の全部または一部分として取得する。マッピング部107は、例えば、画像解析部106が決定した第一の画像の全部または一部分に対応する対応情報が有する演算式に与えるパラメータ群を取得し、演算を行い、画像解析部106が決定した第一の画像の全部または一部分に対応する第二の画像の全部または一部分を生成する。また、マッピング部107は、例えば、画像解析部106が決定した第一の画像の全部または一部分に対応する対応情報が有する第二の画像の全部または一部分を、対応情報から取得する。
【0067】
マッピング部107は、画像解析部106が取得した1以上の特徴量に基づいて、画像受付部104が受け付けた1以上の画像に対して、より目的に合致するように脳負荷が調整された画像を出力できる1以上の対応情報を選択する動作、または画像受付104部が受け付けた1以上の画像に対して、より目的に合致するように脳負荷が調整された画像を出力できるルックアップテーブルおよび1以上の対応情報を選択する動作のうちの一の動作を行っても良い。そして、次に、マッピング部107は、選択した1以上の対応情報を用いて、画像受付部104が受け付けた1以上の画像の全部または一部分に対応する1以上の第二の画像の全部または一部分を取得しても良い。
【0068】
また、マッピング部107は、画像解析部106が取得した1以上の特徴量に基づいて、画像受付部104が受け付けた1以上の画像に対して、より目的に合致するように脳負荷が調整された画像を出力できる2以上の対応情報を選択する動作、または前記画像受付部が受け付けた1以上の画像に対して、より目的に合致するように脳負荷が調整された画像を出力できるルックアップテーブルおよび2以上の対応情報を選択する動作のうちの一の動作を行い、当該選択した2以上の対応情報を用いて、1以上の第二の画像の全部または一部分を取得しても良い。なお、2以上の対応情報を用いて1以上の第二の画像の全部または一部分を取得する場合、マッピング部107は、画像受付部104が受け付けた1以上の画像の全部または一部分を、2以上の各対応情報を用いて処理し、当該処理した2以上の結果を融合して、1以上の第二の画像の全部または一部分を取得しても良い。また、2以上の対応情報を用いて1以上の第二の画像の全部または一部分を取得する場合、マッピング部107は、2以上の対応情報を用いて、新たな対応情報を生成し、当該新たな対応情報を用いて、1以上の第二の画像の全部または一部分を取得しても良い。なお、上記の2以上の結果の融合とは、例えば、画像の2以上の属性の両方を用いた画像を生成することや、2以上の属性の中間的な性質を持つ画像を生成することなどである。
【0069】
マッピング部107は、2以上の各第一の時空間ブロックごとに、画像解析部106が決定した第一の画像の全部または一部分に対応する対応情報を用いて(対応情報の一部を用いることも含む)、画像解析部106が決定した第一の画像の全部または一部分に対応する第二の時空間ブロックを取得しても良い。なお、この第二の時空間ブロックは、画像解析部106が決定した第一の画像の全部または一部分に対応する第二の時空間ブロックである。
また、マッピング部107は、例えば、画像解析部106が決定した第一の画像の全部または一部分に対応する対応情報が有する演算式に与えるパラメータ群を取得し、演算を行い、画像解析部106が決定した第一の画像の全部または一部分に対応する第二の時空間ブロックを取得する。また、マッピング部107は、例えば、画像解析部106が決定した第一の画像の全部または一部分に対応する対応情報が有する第二の画像の全部または一部分(第二の時空間ブロック)を、対応情報から取得する。
【0070】
また、マッピング部107は、第二の画像の全部または一部分を取得した後、補正処理を行っても良い。補正処理は、マッピング部107が、画像受付部104が受け付けた画像の全部または一部分の特徴量と、対応情報が有する第一の画像の全部または一部分の特徴量とを用いて、第二の画像の全部または一部分を補正する処理である。なお、補正して取得した画像も、第二の画像と言っても良いし、出力画像と言っても良い。補正処理は、例えば、マッピング部107が、画像受付部104が受け付けた画像の全部または一部分の特徴量と、対応情報が有する第一の画像の全部または一部分の特徴量との差分を取得し、当該差分を用いて、第二の画像の全部または一部分を補正し、出力画像の全部または一部分が、画像受付部104が受け付けた画像の全部または一部分に、より合致するように補正する処理である。
【0071】
マッピング部107は、通常、MPUやメモリ等から実現され得る。マッピング部107の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
【0072】
以下、マッピング部107が種類識別子取得手段1071、出力画像候補取得手段1072、判断手段1073、変更手段1074、および出力画像取得手段1075を具備する場合について説明する。なお、マッピング部107は、種類識別子取得手段1071、出力画像候補取得手段1072、判断手段1073、変更手段1074、および出力画像取得手段1075を具備しない場合もある。
【0073】
マッピング部107を構成する種類識別子取得手段1071は、利用するルックアップテーブルの種類を識別する1または2以上の種類識別子を取得する。種類識別子取得手段1071は、例えば、種類識別子と、画像の全部または一部分の1以上の特徴量とが対応付けて、格納部101に格納されている場合、画像受付部104が受け付けた画像の全部または一部分の1以上の特徴量を取得し、当該1以上の特徴量に最も近似する1以上の特徴量を決定し、当該1以上の特徴量に対応する種類識別子を格納部101から取得しても良い。また、種類識別子取得手段1071は、図示しないEPG格納部に格納されているEPG(電子番組表)に含まれる番組(出力中の番組)のジャンルを種類識別子としても良い。さらに、種類識別子取得手段1071は、ユーザから受け付けた種類識別子を図示しない記録媒体に格納しており、かかる種類識別子を取得しても良い。また、種類識別子取得手段1071は、指示受付部103が受け付けた指示に対応する1以上の種類識別子を取得する。例えば、指示受付部103が「画像が見えにくいのでもっとよく見えるようにしたい」に対応する目的を受け付けた場合、種類識別子取得手段1071は、ノイズを低減するルックアップテーブルの種類を識別する種類識別子を取得する。また、例えば、指示受付部103が「画像が見えにくいのでもっとよく見えるようにしたい」に対応する目的を受け付けた場合、種類識別子取得手段1071は、照明環境を明るくするルックアップテーブルの種類を識別する種類識別子を取得しても良い。また、例えば、指示受付部103が「画像が見えにくいのでもっとよく見えるようにしたい」に対応する目的を受け付けた場合、種類識別子取得手段1071は、ノイズを低減するルックアップテーブルの種類識別子と、照明環境を明るくするルックアップテーブルの種類識別子とを取得しても良い。
【0074】
また、例えば、指示受付部103が「画像が見えにくいのでもっとよく見えるようにしたい」に対応する目的を受け付けた場合、種類識別子取得手段1071は、画像中のノイズを検出し、閾値以上のノイズが存在するか否かを検知し、閾値以上のノイズが存在すると判断した場合は、ノイズを低減するルックアップテーブルの種類識別子を取得する。また、例えば、指示受付部103が「画像が見えにくいのでもっとよく見えるようにしたい」に対応する目的を受け付けた場合、種類識別子取得手段1071は、画像の輝度値の分布を取得し、画像の輝度分布が予め決められた条件を満たさないほど暗いと判断した場合、照明環境を明るくするルックアップテーブルの種類識別子を取得しても良い
【0075】
種類識別子取得手段1071は、通常、MPUやメモリ等から実現され得る。種類識別子取得手段1071の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
【0076】
出力画像候補取得手段1072は、画像解析部106が決定した第一の画像の全部または一部分に対応する対応情報(対応情報の一部でも良い趣旨である)を用いて、画像解析部106が決定した第一の画像の全部または一部分に対応する第二の画像の全部または一部分を取得する。ここで取得された第二の画像の全部または一部分は、出力画像の全部または一部分の候補である。また、「第二の画像の全部または一部分を取得する」とは、例えば、対応情報が有する演算式、または対応情報が有する演算式に代入するパラメータの集合を用いて、演算し、第二の画像の全部または一部分を取得することである。かかる場合、対応情報は、第一の画像の全部または一部分に対応する第二の画像の全部または一部分を生成するための演算式、または演算式に代入するパラメータの集合を有している。また、「第二の画像の全部または一部分を取得する」とは、例えば、画像解析部106が決定した第一の画像の全部または一部分に対応する対応情報に含まれる第二の画像の全部または一部分を取得することでも良い。
【0077】
例えば、画像出力装置1がSDビデオ信号をHDビデオ信号にアップコンバージョンする装置である場合、出力画像候補取得手段1072は、画像解析部106が決定した第一の画像に対応する対応情報に含まれる演算式および演算パラメータを読み出す。
【0078】
次に、出力画像候補取得手段1072は、読み出した演算式に演算パラメータを代入し、演算を行う。これにより、HDビデオ信号の復元データが得られる。以上により、出力画像候補取得手段1072は、第二の画像を取得できる。
【0079】
出力画像候補取得手段1072は、通常、MPUやメモリ等から実現され得る。出力画像候補取得手段1072の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
【0080】
判断手段1073は、拘束条件を満たすか否かを判断する。拘束条件が処理対象である画像の全部または一部に対する条件である場合、判断手段1073は、画像受付部104が受け付けた画像の全部または一部の1以上の特徴量を取得し、当該1以上の特徴量が拘束条件を満たすか否かを判断する。また、拘束条件がルックアップテーブルに関する条件である場合、判断手段1073は、ルックアップテーブルの過去の利用に関する情報(条件に対応する利用履歴)を取得し、当該利用履歴が拘束条件を満たすか否かを判断する。なお、利用履歴とは、例えば、入力画像のうちの最近のnフィールド(nは1以上の整数)の処理で用いられたルックアップテーブルの種類識別子や、入力画像のうちの最近のnフィールド(nは1以上の整数)の処理で用いられた対応情報を特定する情報である。なお、拘束条件が利用履歴を含む場合、当該利用履歴は、マッピング部107が図示しない記録媒体に蓄積して、生成される、とする。さらに、拘束条件が出力画像に関する条件である場合、判断手段1073は、例えば、出力画像候補取得手段1072が取得した第二の画像の全部または一部分が、拘束条件格納部102の拘束条件を満たすか否かを判断する。例えば、判断手段1073は、拘束条件に含まれる第二の画像の全部または一部分の属性値(例えば、画素の最大値、画素の輝度の時間的な変化)を取得し、属性値が拘束条件(例えば、「画素の最大値<=255」、「画素の輝度の時間的な変化<=100」)を満たすか否かを判断する。つまり、例えば、拘束条件が「画素の最大値<=255」である場合、判断手段1073は、出力画像候補取得手段1072が取得したHDビデオ信号の復元データの画素値が255を超えるかを判断する。
【0081】
判断手段1073は、通常、MPUやメモリ等から実現され得る。判断手段1073の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
【0082】
変更手段1074は、判断手段1073が拘束条件を満たさないと判断した場合に、第二の画像の全部または一部分を変更する。また、変更手段1074は、判断手段1073が拘束条件を満たさないと判断した場合に、ルックアップテーブルを変更しても良い。
【0083】
また、変更手段1074は、判断手段1073が拘束条件を満たさないと判断した場合に、判断後に受け付けられる入力画像、または判断後に得られた時空間ブロック、または判断後に受け付けられる入力画像の1以上の特徴量、または判断後に得られた時空間ブロックの1以上の特徴量を、拘束条件を満たすように変更しても良い。
【0084】
また、判断手段1073が拘束条件を満たさないと判断した場合には、変更手段1074は、例えば、判断手段1073の判断対象である第二の画像の全部または一部分を、拘束条件を満たすように変更して、変更画像を取得する。ここで、「拘束条件を満たすように変更する処理」は、例えば、第二の画像の全部または一部分を構成する複数の画素の最大値が拘束条件(例えば、「最大値<=255」)に合致するように、例えば、複数の画素の最大値が255になるように、当該複数の画素の値を全体的に圧縮する処理である。なお、全体的に複数の画素の値を圧縮する処理とは、同一の割合で複数の画素の値を小さくしても良いし、異なる割合や、値の大きさに応じて、複数の画素の値を小さくする等しても良い。
【0085】
変更手段1074は、通常、MPUやメモリ等から実現され得る。変更手段1074の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
【0086】
出力画像取得手段1075は、複数の対応情報のうちの、画像解析部106が決定した第一の画像の全部または一部分に対応する対応情報(対応情報の一部でも良い趣旨である)を用いて、画像解析部106が決定した第一の画像の全部または一部分に対応する第二の画像の全部または一部分を、出力画像の全部または一部分として取得する。ここで、上記の複数の対応情報とは、格納部101の一のルックアップテーブルの複数の対応情報、または、1または2以上の種類識別子に対応する1または2以上のルックアップテーブルが有する複数の対応情報である。
【0087】
また、出力画像取得手段1075は、判断手段1073が拘束条件を満たすと判断した第二の画像の全部または一部分、または変更手段1074が取得した変更画像、または判断手段1073が拘束条件を満たすと判断した第二の画像の全部または一部分および変更手段1074が取得した変更画像を、出力画像の全部または一部分として取得することは好適である。
【0088】
また、出力画像取得手段1075は、1または2以上の種類識別子に対応する1または2以上のルックアップテーブルが有する対応情報のうちの、画像解析部106が取得した1以上の特徴量に対応する1以上の対応情報を用いて、画像受付部104が受け付けた1以上の画像の全部または一部分に対応する1以上の第二の画像の全部または一部分を、出力画像の全部または一部分として取得しても良い。なお、1または2以上の種類識別子は、種類識別子取得手段1071が取得した種類識別子である。
【0089】
なお、出力画像取得手段1075は、上述した補正処理を行うことは好適である。
【0090】
出力画像取得手段1075は、通常、MPUやメモリ等から実現され得る。合成部108の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
【0091】
合成部108は、マッピング部107が取得した2以上の各第二の時空間ブロックを、2以上の各第二の時空間ブロックに対応する第一の時空間ブロックの時間的、または空間的、または空間的かつ時間的な位置に配置し、出力画像を生成する。
【0092】
合成部108は、通常、MPUやメモリ等から実現され得る。合成部108の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
【0093】
画像出力部109は、出力画像を出力する。画像出力部109は、合成部108が生成した出力画像を出力しても良い。ここでの出力とは、通常、ディスプレイへの表示、プロジェクターを用いた投影であるが、外部の装置や他のプログラムへの送信などを含む概念である。
【0094】
画像出力部109は、例えば、ディスプレイやプロジェクター等の出力デバイスを含むと考えても含まないと考えても良い。画像出力部109は、例えば、出力デバイスのドライバーソフトまたは、出力デバイスのドライバーソフトと出力デバイス等で実現され得る。
【0095】
ルックアップテーブル更新部110は、指示受付部103が受け付けた指示に応じて、ルックアップテーブルが有する2以上の対応情報のいずれかを変更する。ルックアップテーブル更新部110は、ルックアップテーブルが有するすべての対応情報を更新しても良いし、一部の対応情報を更新しても良い。対応情報が第二の画像の全部または一部分を生成するための演算式、または第二の画像の全部または一部分を生成するためのパラメータ群を含む場合、ルックアップテーブル更新部110は、例えば、指示に応じて、演算式に含まれるパラメータ群、または第二の画像の全部または一部分を生成するためのパラメータ群を変更する。例えば、指示は、画像の立体感の度合いを含む場合、ルックアップテーブル更新部110は、ユーザから入力された画像の立体感の度合いを用いて、対応情報が有するパラメータ群を変更する。かかる場合の変更方法(変更するための式等)は問わない。例えば、ルックアップテーブル更新部110は、画像の立体感の度合いの情報に対応付けて、パラメータ群を図示しない記録媒体に保持しており、指示された画像の立体感の度合いの情報に対応するパラメータ群を図示しない記録媒体から読み出す。また、例えば、ルックアップテーブル更新部110は、画像の立体感の度合いをパラメータとするパラメータ群の生成のための演算式を保持しており、かかる演算式に画像の立体感の度合いを代入し、演算を行い、パラメータ群を取得する。
【0096】
また、指示受付部103が1以上の第二の画像の候補を選択する指示を受け付けた場合、例えば、ルックアップテーブル更新部110は、1以上の第二の画像の各候補から、1以上の特徴量を取得し、当該1以上の特徴量をパラメータ群として、取得する。また、指示受付部103が1以上の第二の画像の候補を選択する指示を受け付けた場合、例えば、ルックアップテーブル更新部110は、1以上の第二の画像の各候補から、1以上の特徴量を取得し、当該1以上の特徴量を予め格納している演算式に代入し、演算を行い、パラメータ群を取得する。
【0097】
ルックアップテーブル更新部110は、通常、MPUやメモリ等から実現され得る。合成部108の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
【0098】
次に、画像処理装置1の動作について、図2のフローチャートを用いて説明する。
【0099】
(ステップS201)画像受付部104は、1以上の画像を受け付けたか否かを判断する。1以上の画像を受け付ければステップS202に行き、1以上の画像を受け付けなければステップS210に行く。なお、ここでの画像は、通常、2以上の静止画から構成される映像である。
【0100】
(ステップS202)分割部105は、ステップS201で受け付けられた画像を、空間的、または時間的、または空間的かつ時間的に2以上に分割し、2以上の第一の時空間ブロックを取得する。
【0101】
(ステップS203)画像解析部106は、カウンタiに1を代入する。
【0102】
(ステップS204)画像解析部106は、ステップS202で取得された第一の時空間ブロックのうち、i番目のブロックが存在するか否かを判断する。i番目のブロックが存在すればステップS205に行き、i番目のブロックが存在しなければステップS208に行く。
【0103】
(ステップS205)画像解析部106は、i番目の第一の時空間ブロックに対して、画像解析処理する。そして、画像解析部106は、i番目の第一の時空間ブロックに対応する第一の画像の全部または一部分を決定する。かかる画像解析処理について、図3のフローチャートを用いて説明する。
【0104】
(ステップS206)マッピング部107は、ステップS205で決定された第一の画像の全部または一部分に対応する対応情報を用いて、ステップS205で決定された第一の画像の全部または一部分に対応する第二の画像の全部または一部分を、出力画像の全部または一部分として取得する。かかる処理をマッピング処理という。マッピング処理について、図4のフローチャートを用いて説明する。なお、本ステップで取得された出力画像の全部または一部分は、第二の時空間ブロックである。
【0105】
(ステップS207)画像解析部106は、カウンタiを1、インクリメントし、ステップS204に戻る。
【0106】
(ステップS208)合成部108は、ステップS206で取得された2以上の第二の時空間ブロックを合成し、出力画像を生成する。さらに詳細には、ステップS206で取得された2以上の各第二の時空間ブロックを、2以上の各第二の時空間ブロックに対応する第一の時空間ブロックの時間的、または空間的、または空間的かつ時間的な位置に配置し、出力画像を生成する。
【0107】
(ステップS209)画像出力部109は、ステップS208で生成された出力画像を出力する。
【0108】
(ステップS210)指示受付部103は、ユーザの指示を受け付けたか否かを判断する。ユーザの指示を受け付ければステップS211に行き、ユーザの指示を受け付けなければステップS201に戻る。
【0109】
(ステップS211)ルックアップテーブル更新部110は、ステップS210で受け付けられた指示に応じて、ルックアップテーブルを更新する。かかる処理をルックアップテーブル更新処理という。ルックアップテーブル更新処理について、図6のフローチャートを用いて説明する。
【0110】
なお、図2のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
【0111】
また、図2のフローチャートにおいて、複数の画像や画像ストリームを受け付け中に、ステップS210の指示を受け付け、ルックアップテーブルを更新しても良い。
【0112】
次に、ステップS205の画像解析処理について、図3のフローチャートを用いて説明する。
【0113】
(ステップS301)画像解析部106は、上記のi番目の第一の時空間ブロックに対して、画像解析し、1以上の特徴量である特徴量ベクトル(第一特徴量ベクトルという)を取得する。なお、1以上の特徴量は、例えば、上述した近傍特徴量または/および全体特徴量のうちの1以上の特徴量である。また、例えば、1以上の特徴量は、例えば、複数の画素の最大値(MAX)および最小値(MIN)、ダイナミックレンジ(DR=MAX−MIN)、輝度度数分布、時間方向の差分値などである。また、画像から、かかる1以上の特徴量を取得する技術は公知技術であるので詳細な説明を省略する。なお、特徴量は上述した特徴量に限らないことは言うまでもない。
【0114】
(ステップS302)画像解析部106は、カウンタiに1を代入する。
【0115】
(ステップS303)画像解析部106は、格納部101のルックアップテーブルの中に、i番目の対応情報が存在するか否かを判断する。i番目の対応情報が存在すればステップS304に行き、i番目の対応情報が存在しなければステップS307に行く。なお、格納部101に2以上のルックアップテーブルが存在する場合、本ステップでは、いずれかの一のルックアップテーブルを使用することで良い。また、後述する種類識別子取得処理を行ってから、当該種類識別子取得処理で取得された種類識別子に対応するルックアップテーブルを使用しても良い。
【0116】
(ステップS304)画像解析部106は、i番目の対応情報が有する特徴量ベクトル(第二特徴量ベクトルという)を取得する。
【0117】
(ステップS305)画像解析部106は、ステップS301で取得した第一特徴量ベクトルと、ステップS304で取得した第二特徴量ベクトルの距離を算出し、当該距離をi(i番目の対応情報)に対応付けて、バッファに一時蓄積する。
【0118】
(ステップS306)画像解析部106は、カウンタiを1、インクリメントし、ステップS303に戻る。
【0119】
(ステップS307)画像解析部106は、バッファに蓄積されている距離が最も小さい対応情報を取得する。上位処理にリターンする。なお、対応情報を取得する処理は、第一の画像の全部または一部分を決定する処理である。
【0120】
なお、図3のフローチャートにおいて、対応情報は、ID(アドレスでも良い)を保持しており、例えば、1以上の特徴量を予め格納している演算式に代入して、ID(アドレスでも良い)を取得するようにしても良い。つまり、画像解析処理の方法は問わない。
【0121】
次に、ステップS206のマッピング処理の例について、図4のフローチャートを用いて説明する。
【0122】
(ステップS401)マッピング部107を構成する種類識別子取得手段1071は、利用するルックアップテーブルの種類を識別する種類識別子を取得する。かかる種類識別子取得処理の例について、図5のフローチャートを用いて説明する。
【0123】
(ステップS402)出力画像候補取得手段1072は、ステップS401で取得された種類識別子に対応するルックアップテーブルの中の対応情報であって、画像解析部106が決定した第一の画像の全部または一部分に対応する対応情報中のパラメータ群を取得する。
【0124】
(ステップS403)出力画像候補取得手段1072は、ステップS402で取得したパラメータ群を用いて、画像解析部106が決定した第一の画像の全部または一部分に対応する第二の画像の全部または一部分を生成する。さらに具体的には、例えば、出力画像候補取得手段1072は、予め格納している演算式に、ステップS402で取得したパラメータ群を代入し、演算式を実行する。そして、出力画像候補取得手段1072は、第二の画像の全部または一部分を取得する。
【0125】
(ステップS404)判断手段1073は、拘束条件格納部102から、拘束条件を読み出す。
【0126】
(ステップS405)判断手段1073は、ステップS402で取得された第二の画像の全部または一部分が、ステップS403で読み出した拘束条件を満たすか否かを判断し、判断結果をバッファに代入する。
【0127】
(ステップS406)ステップS404における判断結果が「拘束条件を満たす(合致)」である場合はステップS407に行き、「拘束条件を満たさない(合致しない)」である場合は、ステップS408に行く。
【0128】
(ステップS407)出力画像取得手段1075は、出力画像の全部または一部分として、ステップS402で取得された第二の画像の全部または一部分を得る。上位処理にリターンする。
【0129】
(ステップS408)変更手段1074は、ステップS402で取得された第二の画像の全部または一部分を、拘束条件を満たすように変更して、変更画像を取得する。
【0130】
(ステップS409)出力画像取得手段1075は、出力画像の全部または一部分として、ステップS408で取得された変更画像を得る。上位処理にリターンする。
【0131】
なお、図4のフローチャートにおいて、第二の画像の全部または一部分を生成する方法や、第二の画像の全部または一部分を取得する方法は、他の方法でも良い。
【0132】
また、図4のフローチャートにおいて、格納部101のルックアップテーブルが一つである場合、ステップS401の処理は不要であることは言うまでもない。
【0133】
次に、ステップS401の種類識別子取得処理の例について、図5のフローチャートを用いて説明する。
【0134】
(ステップS501)種類識別子取得手段1071は、上記のi番目のブロック(第一画像)の特徴量ベクトルを取得する。
【0135】
(ステップS502)種類識別子取得手段1071は、カウンタiに1を代入する。
【0136】
(ステップS503)種類識別子取得手段1071は、格納部101に、i番目の種類識別子が存在するか否かを判断する。i番目の種類識別子が存在すればステップS504に行き、i番目の種類識別子が存在しなければステップS507に行く。
【0137】
(ステップS504)種類識別子取得手段1071は、i番目の種類識別子に対応する特徴量ベクトルを取得する。
【0138】
(ステップS505)種類識別子取得手段1071は、ステップS501で取得した特徴量ベクトルと、ステップS504で取得した特徴量ベクトルとの距離を算出し、i番目の種類識別子に対応付けて、バッファに一時蓄積する。
【0139】
(ステップS506)種類識別子取得手段1071は、カウンタiを1、インクリメントし、ステップS503に戻る。
【0140】
(ステップS507)種類識別子取得手段1071は、ステップS505で算出した最も小さい距離に対応する種類識別子を取得する。上位処理にリターンする。
【0141】
なお、図5のフローチャートにおいて、種類識別子取得処理は、上述したような他の方法でも良い。つまり、図5のフローチャートにおいて、ブロックの特徴量ベクトル(1以上の近傍特徴量)を用いて種類識別子を決定したが、上述したように、全体特徴量や近傍特徴量を用いて種類識別子を決定しても良いし、電子番組表の情報等を用いて種類識別子を決定しても良いし、ユーザからの指示によって種類識別子を決定しても良い。
【0142】
次に、ステップS211のルックアップテーブル更新処理について、図6のフローチャートを用いて説明する。
【0143】
(ステップS601)ルックアップテーブル更新部110は、指示受付部103が受け付けた指示を取得する。
【0144】
(ステップS602)ルックアップテーブル更新部110は、ステップS601で取得した指示に含まれる1以上のパラメータを取得する。
【0145】
(ステップS603)ルックアップテーブル更新部110は、カウンタiに1を代入する。
【0146】
(ステップS604)ルックアップテーブル更新部110は、格納部101のルックアップテーブルに、i番目の対応情報が存在するか否かを判断する。i番目の対応情報が存在すればステップS605に行き、i番目の対応情報が存在しなければ上位処理にリターンする。
【0147】
(ステップS605)ルックアップテーブル更新部110は、ステップS602で取得した1以上のパラメータを用いて、i番目の対応情報が有するパラメータ群、またはi番目の対応情報が有する演算式を変更する。
【0148】
(ステップS606)ルックアップテーブル更新部110は、カウンタiを1、インクリメントし、ステップS604に戻る。
【0149】
なお、図6のフローチャートにおいて、ルックアップテーブルが複数存在する場合は、すべてのルックアップテーブルを更新しても良い。
【0150】
次に、拘束条件を用いて、画像等を動的に変更する処理の具体例について説明する。画像処理装置1における拘束条件格納部102、マッピング部107の判断手段1073、および変更手段1074により、拘束条件を満たすように処理を行い、目的に応じて、脳負荷が調整された画像を出力できる。
【0151】
第一の具体例は、出力画像の画素値がある値を超えた時に、その値に収まるように補正する処理である。かかる場合、拘束条件は「出力画像の1以上の画素値が閾値を超えないこと」である。そして、判断手段1073が、かかる拘束条件に合致しないと判断した1以上の画素に対して、変更手段1074は、閾値を超えないように補正する。そして、出力画像取得手段1075は、判断手段1073が拘束条件を満たすと判断した第二の画像の全部または一部分、または変更手段1074が取得した変更画像、または判断手段1073が拘束条件を満たすと判断した第二の画像の全部または一部分と変更手段1074が取得した変更画像を用いて、出力画像を取得する。
【0152】
第二の具体例は、入力画像の画素値が正常範囲を逸脱している場合に、入力画像の当該画素を、周辺画素を利用して穴埋め補正する処理である。かかる場合、拘束条件は「入力画像の画素値が正常範囲を逸脱してない」ことである。そして、判断手段1073が、かかる拘束条件に合致しないと判断した1以上の画素に対して、変更手段1074は、当該画素の予め決められた範囲の周辺画素の1以上の画素値を取得し、当該1以上の画素値を用いて、異常な画素の画素値を決定する。そして、出力画像取得手段1075は、変更手段1074が取得した1以上の特徴量、または画像受付部104が受け付けた画像の一部の1以上の特徴量を用いて、1以上の第二の画像の一部分を取得する。
【0153】
第三の具体例は、対応情報を用いて出力画像を取得する場合に、直前で、ルックアップテーブルの一の対応情報が使われた場合、次は、他の対応情報を使うようにする処理である。かかる場合、拘束条件は「連続して同一の対応情報を使用しない」ことである。そして、判断手段1073が、画像解析部106が決定した第一の画像の全部または一部分に対応する対応情報が、直前に使用されたか否かを判断する。なお、かかる場合、直前に利用された対応情報を特定する情報が少なくとも一時蓄積される。そして、画像解析部106が決定した第一の画像の全部または一部分に対応する対応情報は直前に使用された対応情報と同一である、と判断手段1073が判断した場合、変更手段1074は、2番目に近い対応情報を取得する。つまり、変更手段1074は、画像解析部106に当該決定した第一の画像の全部または一部分を除いて、再度、第一の画像の全部または一部分を決定する指示を画像解析部106に出し、画像解析部106は、再度、第一の画像の全部または一部分を決定する。かかる第一の画像の全部または一部分に対応する対応情報は、処理対象の入力画像や時空間ブロック等に対して、2番目に近い第一の画像の全部または一部分に対応する対応情報である。そして、出力画像取得手段1075は、変更手段1074が取得した対応情報を用いて、1以上の第二の画像の一部分を取得する。
【0154】
第四の具体例は、拘束条件に含まれるパラメータと変更先が異なる例である。第四の具体例は、例えば、出力画像の画素値が閾値を超えた時には、特定の対応情報を使って処理し直す場合である。つまり、拘束条件は「出力画像の1以上の画素値が閾値を超えないこと」である。そして、判断手段1073が、かかる拘束条件に合致しないと判断した1以上の画素に対して、変更手段1074は、予め決められた対応情報を読み出す。そして、当該対応情報を用いて、出力画像取得手段1075は、再度、出力画像を構成する。
【0155】
第五の具体例は、複数個所のパラメータを判定に使う例である。第五の具体例は、例えば、拘束条件は「入力画像の画素値と出力画像の画素値との差が閾値以内であること」である。そして、判断手段1073が、かかる拘束条件に合致しないと判断した1以上の画素に対して、変更手段1074は、出力画像の当該画素の画素値を補正して、入力画像の画素の画素値との差を閾値以内にする。そして、出力画像取得手段1075は、かかる画素値の画素を有する出力画像を取得する。
【0156】
以上、本実施の形態によれば、高品質な画像を出力できる。また、本実施の形態によれば、目的に応じて脳負荷が調整された画像を出力する画像処理装置を提供できる。例えば、本実施の形態によれば、脳負荷をより低減できる画像を出力する画像処理装置や、より脳に刺激を与え、エンターテインメント性が増加する画像を出力する画像処理装置等を提供できる。
【0157】
また、本実施の形態における画像処理装置が脳負荷をより低減できる画像を出力する場合、当該画像処理装置は、人間の脳にとって、好適な画像として認知できるような画像を出力できる。
【0158】
さらに具体的には、本実施の形態によれば、光量、光源の位置、光源の色、カメラの位置など、異なった環境で撮影した画像を出力できることにより、人間の脳にとって、好適な画像として認知できるような画像を出力できる。さらに具体的には、本実施の形態によれば、脳が、質感、遠近感、存在感、臨場感、重量感、温もり感、ひんやり感、スピード感、躍動感、動きの滑らかさ、新鮮な感じ、高級感などをより感じる画像を出力できる。具体的には、本実施の形態によれば、入力画像に対して、高品質な出力画像の候補を取得した後、拘束条件に合致しない出力画像の候補を、拘束条件に合致するように変更することにより、いかなる画像が入力されても、拘束条件に合致する出力画像を得ることができる。
【0159】
また、本実施の形態によれば、複数のルックアップテーブルのうちの適切なルックアップテーブルを使用することにより、目的に応じて脳負荷が調整された画像を出力できる。
【0160】
また、本実施の形態によれば、拘束条件を満たすように、出力画像を変更することにより、目的に応じて、さらに好適に脳負荷が調整された画像を出力できる。
【0161】
また、本実施の形態によれば、ルックアップテーブルをカスタマイズ可能とすることにより、ユーザの嗜好等に応じて、さらに好適に脳負荷が調整された画像を出力できる。
【0162】
なお、本実施の形態における画像処理装置1はテレビ受信機でも良い。かかる場合、画像受付部104が受け付ける画像は、テレビ映像を構成する画像である。
【0163】
また、本実施の形態における画像処理装置1を用いれば、受け付けた動画を用いて、目的に応じて、リアルタイムに脳負荷が調整された動画を生成し、出力する装置を実現できる。
【0164】
また、本実施の形態において、ルックアップテーブルが一つの対応情報のみを有する場合、画像処理装置1は、画像解析部106を有さなくても良い。かかる場合、画像処理装置1は、図7のような構成となる。そして、かかる場合、マッピング部107は、格納部101の一の対応情報を用いて、画像受付部104が受け付けた1以上の画像の全部または一部分に対応する1以上の第二の画像の全部または一部分を取得する。なお、かかる場合も、画像解析部106が存在し、画像解析部106が受け付けられた1以上の画像の全部または一部分から1以上の特徴量を取得し、マッピング部107が当該特徴量を用いて、上述した補正処理を行っても良い。
【0165】
また、本実施の形態の画像処理装置1において、指示受付部103やルックアップテーブル更新部110等の一部の構成要素を具備しなくても良いことは言うまでもない。
【0166】
さらに、本実施の形態における処理は、ソフトウェアで実現しても良い。そして、このソフトウェアをソフトウェアダウンロード等により配布しても良い。また、このソフトウェアをCD−ROMなどの記録媒体に記録して流布しても良い。なお、このことは、本明細書における他の実施の形態においても該当する。なお、本実施の形態における画像処理装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、第一の画像と、当該第一の画像とは異なる第二の画像との対応を取るための情報である2以上の対応情報を有するルックアップテーブルと、入力画像、対応情報、または出力画像のうちの1種類以上の情報が満たすべき条件である拘束条件とを格納しており、コンピュータを、1以上の画像を受け付ける画像受付部と、前記1または2以上の対応情報のうちのいずれかの対応情報を用いて、前記画像受付部が受け付けた1以上の画像の全部または一部分に対応する1以上の第二の画像の全部または一部分を、前記拘束条件に合致するように取得するマッピング部と、前記マッピング部が取得した1以上の第二の画像の全部または一部分から構成される出力画像を出力する画像出力部として機能させるプログラムである。
【0167】
また、上記プログラムにおいて、前記拘束条件は、出力画像が満たすべき条件であり、前記マッピング部は、前記1または2以上の対応情報のうちのいずれかの対応情報を用いて、第二の画像の全部または一部分を取得する出力画像候補取得手段と、前記出力画像候補取得手段が取得した第二の画像の全部または一部分が、前記拘束条件を満たすか否かを判断する判断手段と、前記判断手段が前記拘束条件を満たさないと判断した場合に、前記第二の画像の全部または一部分を、前記拘束条件を満たすように変更して、変更画像を取得する変更手段と、前記判断手段が前記拘束条件を満たすと判断した第二の画像の全部または一部分、または前記変更手段が取得した変更画像、または前記判断手段が前記拘束条件を満たすと判断した第二の画像の全部または一部分と前記変更手段が取得した変更画像を用いて、出力画像を取得する出力画像取得手段とを具備するものとして、コンピュータを機能させるプログラムであることは好適である。
【0168】
また、上記プログラムにおいて、前記ルックアップテーブルは、2以上の対応情報を有し、前記画像受付部が受け付けた1以上の画像の全部または一部分に対応する第一の画像の全部または一部分を決定する画像解析部をさらに具備し、前記出力画像候補取得手段は、前記画像解析部が決定した第一の画像の全部または一部分に対応する対応情報を用いて、前記画像解析部が決定した第一の画像の全部または一部分に対応する第二の画像を取得するものとして、コンピュータを機能させるプログラムであることは好適である。
【0169】
また、上記プログラムにおいて、前記拘束条件は、入力画像が満たすべき条件であり、前記マッピング部は、前記画像受付部が受け付けた画像の一部の1以上の特徴量が、前記拘束条件を満たすか否かを判断する判断手段と、前記判断手段が前記拘束条件を満たさないと判断した場合に、前記画像の一部の予め決められた範囲の周辺画素の1以上の特徴量を用いて、前記画像の一部の1以上の特徴量を取得する変更手段と、前記変更手段が取得した1以上の特徴量、または前記画像受付部が受け付けた画像の一部の1以上の特徴量を用いて、1以上の第二の画像の一部分を取得する出力画像取得手段とを具備するものとして、コンピュータを機能させるプログラムであることは好適である。
【0170】
また、上記プログラムにおいて、前記ルックアップテーブルは、2以上の対応情報を有し、前記画像受付部が受け付けた1以上の画像の全部または一部分に対応する第一の画像の全部または一部分を決定する画像解析部をさらに具備し、前記拘束条件は、連続して同一の対応情報を使用しないことであり、前記マッピング部は、1以上の第二の画像の全部または一部分を取得するために用いる対応情報を取得し、前記拘束条件に従って、当該対応情報が直前に使用した対応情報と同一か否かを判断する判断手段と、前記判断手段が前記拘束条件を満たさないと判断した場合に、前記画像解析部に当該決定した第一の画像の全部または一部分を除いて、再度、第一の画像の全部または一部分を決定する指示を前記画像解析部に出し、決定された第一の画像の全部または一部分に対応する対応情報を取得する変更手段と、前記変更手段が取得した対応情報を用いて、1以上の第二の画像の一部分を取得する出力画像取得手段とを具備し、前記マッピング部は、少なくとも最近に使用した対応情報を特定する情報を保持するものとして、コンピュータを機能させるプログラムであることは好適である。
【0171】
また、上記プログラムにおいて、前記第一の画像の全部または一部分は、入力される映像のうちの一部である第一の時空間ブロックであり、前記第二の画像の全部または一部分は、画面に出力される映像のうちの一部である第二の時空間ブロックであり、前記画像受付部は、1以上の画像の集合である映像を受け付け、前記画像受付部が受け付けた映像を、空間的、または時間的、または空間的かつ時間的に2以上に分割し、2以上の第一の時空間ブロックを取得する分割部と、前記マッピング部が取得した2以上の各出力画像の全部または一部分を、当該2以上の各出力画像の全部または一部分に対応する第一の時空間ブロックの時間的、または空間的、または空間的かつ時間的な位置に配置し、出力画像を生成する合成部として、コンピュータをさらに機能させ、前記画像出力部は、前記合成部が生成した出力画像を出力するものとして、コンピュータを機能させるプログラムであることは好適である。
【0172】
(実施の形態2)
本実施の形態において、実施の形態1と比較して、画像処理装置2は、分割部105、および合成部108を具備しない。
【0173】
図8は、本実施の形態における画像処理装置2のブロック図である。
【0174】
画像処理装置2は、格納部101、拘束条件格納部102、指示受付部103、画像受付部104、画像解析部106、マッピング部107、画像出力部109、およびルックアップテーブル更新部110を具備する。
【0175】
次に、画像処理装置2の動作について、図9のフローチャートを用いて説明する。図9のフローチャートは、図2のフローチャートの一部分である。ただし、ステップS205の画像解析処理は、ステップS201で受け付けられた画像全体に対して行われる。また、ステップS206のマッピング処理も、ステップS201で受け付けられた画像全体に対して行われる。
【0176】
さらに、図9のフローチャートにおいて、電源オフや処理終了の割り込みにより処理は終了する。
【0177】
また、図9のフローチャートにおいて、複数の画像や画像ストリームを受け付け中に、ステップS210の指示を受け付け、ルックアップテーブルを更新しても良い。
【0178】
以上、本実施の形態によれば、目的に応じて脳負荷が調整された画像を出力する画像処理装置を提供できる。例えば、本実施の形態によれば、脳負荷をより低減できる画像を出力する画像処理装置や、より脳に刺激を与え、エンターテインメント性が増加する画像を出力する画像処理装置等を提供できる。
【0179】
また、本実施の形態における画像処理装置が脳負荷をより低減できる画像を出力する場合、当該画像処理装置は、人間の脳にとって、好適な画像として認知できるような画像を出力する画像処理装置を提供できる。
【0180】
さらに具体的には、本実施の形態によれば、光量、光源の位置、光源の色、カメラの位置など、画像を取得する環境を、より良くした画像を出力できることにより、人間の脳にとって、好適な画像として認知できるような画像を出力できる。さらに具体的には、本実施の形態によれば、脳が、質感、遠近感、存在感、臨場感、重量感、温もり感、ひんやり感、スピード感、躍動感、動きの滑らかさ、新鮮な感じ、高級感などをより感じる画像を出力できる。
【0181】
なお、本実施の形態における画像処理装置2を組み込んだテレビ受信機は、構成可能である。かかる場合、画像受付部104が受け付ける画像は、テレビ映像を構成する画像である。
【0182】
また、本実施の形態において、ルックアップテーブルが一つの対応情報のみを有する場合、画像処理装置2は、画像解析部106を有さなくても良い。かかる場合、画像処理装置1は、図10のような構成となる。そして、かかる場合、マッピング部107は、格納部101の一の対応情報を用いて、画像受付部104が受け付けた1以上の画像の全部または一部分に対応する1以上の第二の画像の全部または一部分を取得する。なお、かかる場合も、画像解析部106が存在し、画像解析部106が受け付けられた1以上の画像の全部または一部分から1以上の特徴量を取得し、マッピング部107が当該特徴量を用いて、上述した補正処理を行っても良い。
【0183】
また、本実施の形態の画像処理装置2において、指示受付部103やルックアップテーブル更新部110等の一部の構成要素を具備しなくても良いことは言うまでもない。
【0184】
さらに、本実施の形態における画像処理装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、第一の画像と、当該第一の画像とは異なる第二の画像との対応を取るための情報である2以上の対応情報を有するルックアップテーブルと、入力画像、対応情報、または出力画像のうちの1種類以上の情報が満たすべき条件である拘束条件とを格納しており、コンピュータを、1以上の画像を受け付ける画像受付部と、前記1または2以上の対応情報のうちのいずれかの対応情報を用いて、前記画像受付部が受け付けた1以上の画像の全部または一部分に対応する1以上の第二の画像の全部または一部分を、前記拘束条件に合致するように取得するマッピング部と、前記マッピング部が取得した1以上の第二の画像の全部または一部分から構成される出力画像を出力する画像出力部として機能させるプログラムである。
【0185】
(実施の形態3)
本実施の形態において、ルックアップテーブルを生成するルックアップテーブル取得装置3について説明する。ルックアップテーブル取得装置3は、本明細書で言う第一の画像の全部または一部分を、第二の画像の全部または一部分に変換するために用いられるルックアップテーブルを学習するための装置である。
【0186】
図11は、本実施の形態におけるルックアップテーブル取得装置3のブロック図である。
【0187】
ルックアップテーブル取得装置3は、格納部101、第一画像格納部31、第二画像格納部32、第二画像情報候補集合格納部33、指示受付部103、候補出力部34、第二画像蓄積部35、第一画像関連情報取得部36、第二画像関連情報取得部37、ルックアップテーブル構成部38、およびルックアップテーブル蓄積部39を具備する。
【0188】
指示受付部103は、ユーザの指示を受け付ける。ここでの指示は、第二画像情報候補集合格納部33に格納されている第二画像情報候補集合を出力する指示、1以上の第二の画像情報の候補を選択する指示等である。なお、ユーザとは、ルックアップテーブル取得装置3を提供する企業の担当者でも良いし、上述した画像処理装置やテレビ受信機のユーザ(視聴者)などでも良い。また、第二画像情報候補集合、および第二の画像情報については後述する。
【0189】
第一画像格納部31は、1以上の第一の画像を格納し得る。第一の画像は、画像処理装置により受け付けられる画像を想定した画像である。第一の画像は、例えば、第二の画像より、上述した意味において、脳負荷がかかる画像である。また、第一の画像は、例えば、エンターテインメント性の向上が図られていない画像である。
【0190】
第一画像格納部31は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。第一画像格納部31に第一の画像が記憶される過程は問わない。第一画像格納部31の第一画像は、例えば、第二画像格納部32の第二画像から生成されても良い。つまり、例えば、図示しない手段が、第二画像の輝度を下げたり、カメラ位置を自動的に変更するシミュレーションを行なう等して、第二画像の性質を変えて、第一画像を生成しても良い。
【0191】
第二画像格納部32は、1以上の第二の画像を格納し得る。第二の画像は、第一の画像に対して、目的に応じて、脳負荷が調整された画像である。例えば、第二の画像は、第一の画像より、脳負荷が低減できる画像である。また、例えば、第二の画像は、第一の画像より、エンターテインメント性が増加された画像である。さらに、例えば、第二の画像は、他環境で一の対象を撮影して、取得される画像である。
【0192】
第二の画像と第一の画像は、同一の対象についての画像である。第二の画像と第一の画像は、通常、同一の画素数であるが、異なる画素数でも良い。
【0193】
第二画像格納部32は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。第二画像格納部32に第二の画像が記憶される過程は問わない。第二画像格納部32の第二画像は、例えば、第一画像格納部31の第一画像から生成されても良い。つまり、例えば、図示しない手段が、第一画像の輝度を上げたり、カメラ位置を自動的に変更するシミュレーションを行なう等して、第一画像の性質を変えて、第二画像を生成しても良い。
【0194】
第二画像情報候補集合格納部33は、1以上の各第一の画像に対応付けて、1以上の第二画像情報候補集合を格納し得る。第二画像情報候補集合は、2以上の第二の画像情報の候補の集合である。第二の画像情報とは、第二の画像に関する情報である。また、第二の画像情報は、第二の画像でも良いし、第二の画像の1以上の属性等でも良い。画像の属性は、例えば、撮影パラメータや1以上の特徴量である。また、2以上の各第二の画像情報の候補は、対応付けられている第一の画像と同一の対象についての第二の画像の画像情報である。第二画像情報候補集合格納部33は、物理的に、第一画像格納部31を含んでいても良い。また、「第一の画像に対応付けてられている」とは、第一の画像に直接的に対応付けられていても良いし、第一の画像に間接的に対応付けられていても良い。間接的な対応付けは、例えば、第一の画像情報に対応付けられていることである。第一の画像情報は、第一の画像に関する情報であり、第一の画像そのもの、または第一の画像の属性などである。
【0195】
第二画像情報候補集合格納部33は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。第二画像情報候補集合格納部33に第二画像情報候補集合が記憶される過程は問わない。
【0196】
候補出力部34は、第二画像情報候補集合格納部33に格納されている1以上の第二画像情報候補集合を出力する。指示受付部103が第二画像情報候補集合を出力する指示を受け付けた場合に、候補出力部34は、第二画像情報候補集合格納部33に格納されている1以上の第二画像情報候補集合を出力しても良い。ここでの出力とは、通常、ディスプレイへの表示、プロジェクターを用いた投影であるが、外部の装置や他のプログラムへの送信などを含む概念である。
【0197】
第二画像蓄積部35は、指示受付部103が受け付けた指示に対応する1以上の各第二の画像情報の候補に対応する1以上の第二の画像を、第二画像情報候補集合に対応する第一の画像に対応付けて、第二画像格納部32に蓄積する。例えば、第二の画像情報が第二の画像である場合、第二画像蓄積部35は、指示受付部103が受け付けた指示に対応する1以上の第二の画像を、第一の画像に対応付けて、第二画像格納部32に蓄積する。また、例えば、第二の画像情報が画像の属性である場合、第二画像蓄積部35は、当該画像の属性を用いて、第二の画像を構成し、第一の画像に対応付けて、第二画像格納部32に蓄積する。第二画像蓄積部35は、通常、MPUやメモリ等から実現され得る。第二画像蓄積部35の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
【0198】
第一画像関連情報取得部36は、第一画像格納部31の1以上の第一の画像から1以上の第一画像関連情報を取得する。第一画像関連情報は、第一の画像の全部または一部分に関する情報である。第一画像関連情報は、例えば、第一の画像の全部または一部分から抽出される1以上の特徴量である。なお、1以上の特徴量には、1以上の第一の画像の一部の特徴量である近傍特徴量と、1以上の第一の画像全体の特徴量である全体特徴量とがある。近傍特徴量と全体特徴量の例は、上述したので、説明を省略する。また、第一画像関連情報は、上述した1以上の特徴量を縮退した情報でも良い。かかる縮退した情報も、特徴量である。
【0199】
第一画像関連情報取得部36は、通常、MPUやメモリ等から実現され得る。第一画像関連情報取得部36の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
【0200】
第二画像関連情報取得部37は、第二画像格納部32の1以上の第二の画像から1以上の第二画像関連情報を取得する。第二画像関連情報は、第二の画像の全部または一部分に関する情報である。第二画像関連情報は、第二の画像の全部または一部分を生成するための情報であり、例えば、第二の画像の全部または一部分を生成するための演算式に与えるパラメータ群や、第二の画像の全部または一部分を生成するための演算式である。第二画像関連情報は、例えば、第二の画像の全部または一部分そのものでも良い。第二画像関連情報は、例えば、第二の画像の全部または一部分そのものである場合、第二画像関連情報取得部37は、第二の画像を時空間ブロックに分割する処理を行う。
【0201】
第二画像関連情報取得部37は、通常、MPUやメモリ等から実現され得る。第二画像関連情報取得部37の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
【0202】
ルックアップテーブル構成部38は、1または2以上の対応情報を有するルックアップテーブルを構成する。対応情報は、上述したように、1以上の第一の画像の全部または一部分と、1以上の第二の画像の全部または一部分との対応を取るための情報である。また、例えば、対応情報は、第一画像関連情報と第二画像関連情報とを対応付ける情報である。また、対応情報は、例えば、第一画像関連情報と第二画像関連情報とを有する情報である。なお、対応情報の内容や構造は問わない。また、ここで、第一画像関連情報に対応する第二画像関連情報について、第一画像関連情報の元になる第一の画像の全部または一部分と、第二画像関連情報の元になる第二の画像の全部または一部分とが、映像を構成するフレーム画像上の空間的な位置が対応する場合、映像上の時間的な位置が対応する場合、映像上の空間的および時間的な位置が対応する場合がある。
【0203】
ルックアップテーブル構成部38は、通常、MPUやメモリ等から実現され得る。第二画像関連情報取得部37の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
【0204】
ルックアップテーブル蓄積部39は、ルックアップテーブル構成部38が構成したルックアップテーブルを、格納部101に蓄積する。なお、ここでの蓄積とは、メモリへの書き込みなども含む。
【0205】
ルックアップテーブル蓄積部39は、通常、MPUやメモリ等から実現され得る。第二画像関連情報取得部37の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
【0206】
次に、ルックアップテーブル取得装置3において、ユーザが、自身にとって好適な第二の画像を選択する動作について、図12のフローチャートを用いて説明する。
【0207】
(ステップS1201)指示受付部103は、第二画像情報候補集合を出力する指示を受け付けたか否かを判断する。かかる指示を受け付ければステップS1202に行き、かかる指示を受け付けなければステップS1201に戻る。
【0208】
(ステップS1202)候補出力部34は、カウンタiに1を代入する。
【0209】
(ステップS1203)候補出力部34は、第二画像情報候補集合格納部33に、i番目の第二画像情報候補集合が存在するか否かを判断する。i番目の第二画像情報候補集合が存在すればステップS1204に行き、i番目の第二画像情報候補集合が存在しなければ処理を終了する。
【0210】
(ステップS1204)候補出力部34は、i番目の第二画像情報候補集合を第二画像情報候補集合格納部33から読み出し、出力する。
【0211】
(ステップS1205)指示受付部103は、第二画像情報候補集合が有する2以上の第二の画像情報の候補から、1または2以上の第二の画像情報に対する選択指示を受け付けたか否かを判断する。かかる選択指示を受け付けた場合はステップS1206に行き、かかる選択指示を受け付けなかった場合はステップS1205に戻る。
【0212】
(ステップS1206)第二画像蓄積部35は、ステップS1205で受け付けられた指示に対応する1以上の第二の画像情報の候補を取得する。
【0213】
(ステップS1207)第二画像蓄積部35は、ステップS1206で取得した第二の画像情報を用いて、第二の画像を取得し、第一の画像に対応付けて、第二画像格納部32に蓄積する。この第一の画像は、i番目の第二画像情報候補集合に対応付けられている第一の画像である。
【0214】
(ステップS1208)候補出力部34は、カウンタiを1、インクリメントする。ステップS1203に戻る。
【0215】
次に、ルックアップテーブル取得装置3が、ルックアップテーブルを構成し、蓄積する動作について、図13のフローチャートを用いて説明する。なお、第一画像格納部31に格納されている各第一の画像に対応する第二の画像が第二画像格納部32に格納されている、とする。
【0216】
(ステップS1301)第一画像関連情報取得部36は、カウンタiに1を代入する。
【0217】
(ステップS1302)第一画像関連情報取得部36は、i番目の第一の画像が、第一画像格納部31に格納されているか否かを判断する。i番目の第一の画像が格納されていればステップS1303に行き、格納されていなければ処理を終了する。
【0218】
(ステップS1303)第一画像関連情報取得部36は、i番目の第一の画像を、第一画像格納部31から読み出す。
【0219】
(ステップS1304)第一画像関連情報取得部36は、ステップS1303で読み出したi番目の第一の画像をブロックに分割する。そして、第一画像関連情報取得部36は、n個の第一の時空間ブロックを得る。
【0220】
(ステップS1305)第二画像関連情報取得部37は、i番目の第二の画像を、第二画像格納部32から読み出す。
【0221】
(ステップS1306)第二画像関連情報取得部37は、ステップS1305で読み出したi番目の第二の画像をブロックに分割する。そして、第二画像関連情報取得部37は、n個の第二の時空間ブロックを得る。
【0222】
(ステップS1307)ルックアップテーブル構成部38は、カウンタjに1を代入する。
【0223】
(ステップS1308)ルックアップテーブル構成部38は、ステップS1304で取得された時空間ブロックの中で、j番目のブロックが存在するか否かを判断する。j番目のブロックが存在すればステップS1309に行き、j番目のブロックが存在しなければステップS1314に行く。
【0224】
(ステップS1309)第一画像関連情報取得部36は、i番目の第一の画像のj番目のブロックから、第一画像関連情報を取得する。
【0225】
(ステップS1310)第二画像関連情報取得部37は、i番目の第二の画像のj番目のブロックから、第二画像関連情報を取得する。
【0226】
(ステップS1311)ルックアップテーブル構成部38は、ステップS1309で取得された第一画像関連情報と、ステップS1310で取得された第二画像関連情報とを有する対応情報を構成する。
【0227】
(ステップS1312)ルックアップテーブル蓄積部39は、ステップS1311で構成された対応情報を格納部101に蓄積する。
【0228】
(ステップS1313)ルックアップテーブル構成部38は、カウンタjを1、インクリメントする。ステップS1308に戻る。
【0229】
(ステップS1314)第一画像関連情報取得部36は、カウンタiを1、インクリメントする。ステップS1302に戻る。
【0230】
以下、本実施の形態におけるルックアップテーブル取得装置3の具体的な動作について説明する。
【0231】
まず、ルックアップテーブル取得装置3において、ユーザからの第二の画像の選択指示を受け付け、第二の画像を蓄積する動作の例について説明する。
【0232】
今、図14に示すような複数の第二画像情報候補集合が、第二画像情報候補集合格納部33に格納されている。なお、ここでは、第二画像情報候補集合において、候補1の画像は、第一の画像である、とする。また、第二画像情報候補集合において、候補1から候補4が第二の画像の候補である。つまり、ここでは、第二の画像情報は、第二の画像そのものである。
【0233】
そして、ユーザは、ルックアップテーブル取得装置3に、第二画像情報候補集合を出力する指示を入力した。そして、指示受付部103は、第二画像情報候補集合を出力する指示を受け付ける。
【0234】
次に、候補出力部34は、1番目の第二画像情報候補集合(図14の「ID=1」のレコードの画像の集合)を読み出し、出力する。かかる第二画像情報候補集合の出力例が図15である。
【0235】
次に、ユーザは、自分の嗜好に合致する画像を選択する指示(例えば、「4」)を入力する。そして、指示受付部103は、指示(例えば、「4」)を受け付ける。
【0236】
次に、第二画像蓄積部35は、指示に対応する4番目の画像を取得し、第二画像格納部32に蓄積する。
【0237】
以上の処理を他の第二画像情報候補集合に対しても行い、ユーザが好む第二の画像が第二画像格納部32に蓄積される。
【0238】
次に、ルックアップテーブル取得装置3が、ルックアップテーブルを構成し、蓄積する具体的な動作について説明する。ここでは、8つの具体例を用いて説明する。
【0239】
(具体例1)
具体例1は、光量が異なる光源を用いて、同一の被写体を撮影して、取得した第一の画像と第二の画像とを使用する例である。
【0240】
まず、一の被写体に光量Aの光源を当て、図示しない撮影装置で撮影し、第一の画像を取得し、第一画像格納部31に蓄積する。また、前記一の被写体に光量B(光量B>光量A)の光源を当て、図示しない撮影装置で撮影し、第二の画像を取得し、第二画像格納部32に蓄積する。かかる場合、第二の画像の方が、第一の画像より脳負荷を低減できる画像である。また、人が視て、第二の画像の方が、第一の画像より高品位である、と感じるものであることは好適である。高品位に感じる画像とは、被写体の質感、遠近感、空気感、温もり感、透明感、新鮮な感じ、または高級感等が表出している画像である。
【0241】
また、光源の光量を変えて撮影する被写体は、自然、人間、動物、静物等、多数の種類のものとすることは好適である。また、被写体により、光源の光量の変更度合いが異なっても良いことは言うまでもない。
【0242】
以上により、第一画像格納部31と第二画像格納部32とが構築された。
【0243】
次に、第一画像関連情報取得部36は、第一画像格納部31から順次、第一の画像を読み出す。そして、第一画像関連情報取得部36は、第一の画像をブロックに分割し、n個の第一の時空間ブロックを得る。なお、複数の第一の時空間ブロックは、重複する領域が存在しても良い。つまり、第一画像関連情報取得部36が行う分割処理は、分割部105が行う分割処理と同様の処理である。
【0244】
また、第二画像関連情報取得部37も、第二画像格納部32から、第一の画像に対応する第二の画像を読み出す。そして、第二画像関連情報取得部37は、第二の画像をブロックに分割し、n個の第二の時空間ブロックを得る。
【0245】
次に、第一画像関連情報取得部36は、第一の画像の各ブロックから、複数の画素の最大値および最小値、ダイナミックレンジ、輝度度数分布、時間方向の差分値(例えば、直前のフィールドの対応する画素との差分値)などを取得する。かかる情報は特徴量ベクトルであり、第一画像関連情報である。第一画像関連情報は、ブロックごとに取得される。
【0246】
次に、第二画像関連情報取得部37は、第二の画像の各ブロックから、ブロックを生成するための1以上のパラメータを取得する。具体的には、第二画像関連情報取得部37は、例えば、第二の画像の各ブロックの特徴ベクトルを取得し、当該特徴ベクトルを演算式に代入し、1以上のパラメータを取得する。また、1以上のパラメータは、第二画像関連情報の例である。
【0247】
そして、次に、ルックアップテーブル構成部38は、ブロックごとに、第一画像関連情報と第二画像関連情報とを有する対応情報を構成する。そして、ルックアップテーブル蓄積部39は、構成された対応情報を格納部101に蓄積する。
【0248】
以上の処理により、多数の対応情報を有するルックアップテーブルが生成される。なお、同一、または近似する第一画像関連情報を、まとめて一の対応情報にしても良い。
【0249】
(具体例2)
具体例2は、色が異なる光源を用いて、同一の被写体を撮影して、取得した第一の画像と第二の画像とを使用する例である。
【0250】
まず、一の被写体に、色X(例えば、白)の光源を当て、図示しない撮影装置で撮影し、第一の画像を取得し、第一画像格納部31に蓄積する。また、前記一の被写体に色Y(例えば、橙)の光源を当て、図示しない撮影装置で撮影し、第二の画像を取得し、第二画像格納部32に蓄積する。かかる場合、人が視て、第二の画像の方が、第一の画像より高品位である、と感じるものであることが必要である。
【0251】
また、光源の色を変えて撮影する被写体は、自然、人間、動物、静物等、多数の種類のものとすることは好適である。また、被写体により、光源の色の変更度合いが異なっても良いことは言うまでもない。
【0252】
以上により、第一画像格納部31と第二画像格納部32とが構築された。また、第一画像格納部31と第二画像格納部32とが構築された後の処理は、具体例1と同様であるので、説明を省略する。
【0253】
(具体例3)
具体例3は、異なる位置に配置された光源を用いて、同一の被写体を撮影して、取得した第一の画像と第二の画像とを使用する例である。
【0254】
まず、一の被写体に、位置αに設置された光源を当て、図示しない撮影装置で撮影し、第一の画像を取得し、第一画像格納部31に蓄積する。また、前記一の被写体に位置β(位置αに光源が設置されている場合より、被写体の陰を多く作り出す位置)に設置された光源を当て、図示しない撮影装置で撮影し、第二の画像を取得し、第二画像格納部32に蓄積する。かかる場合、人が視て、第二の画像の方が、第一の画像より被写体の陰の領域が多く出ており、被写体の立体感をより感じさせることが必要である。
【0255】
また、光源の位置を変えて撮影する被写体は、自然、人間、動物、静物等、多数の種類のものとすることは好適である。また、被写体により、光源の位置の変更度合いが異なっても良いことは言うまでもない。
【0256】
以上により、第一画像格納部31と第二画像格納部32とが構築された。また、第一画像格納部31と第二画像格納部32とが構築された後の処理は、具体例1と同様であるので、説明を省略する。
【0257】
(具体例4)
具体例4は、異なる光量で、異なる位置に配置された光源を用いて、同一の被写体を撮影して、取得した第一の画像と第二の画像とを使用する例である。
【0258】
まず、一の被写体に、位置αに配置された光源であり、光量Aの光源を当て、図示しない撮影装置で撮影し、第一の画像を取得し、第一画像格納部31に蓄積する。また、前記一の被写体に、位置βに配置された光源であり、光量B(光量B>光量A)の光源を当て、図示しない撮影装置で撮影し、第二の画像を取得し、第二画像格納部32に蓄積する。かかる場合、人が視て、第二の画像の方が、第一の画像より高品位である、と感じるものであることは好適である。
【0259】
また、光源の光量を変えて撮影する被写体は、自然、人間、動物、静物等、多数の種類のものとすることは好適である。
【0260】
以上により、第一画像格納部31と第二画像格納部32とが構築された。また、第一画像格納部31と第二画像格納部32とが構築された後の処理は、具体例1と同様であるので、説明を省略する。
【0261】
(具体例5)
具体例5は、天候、温度、湿度のうちの1以上が異なる環境で、同一の被写体を撮影して、取得した第一の画像と第二の画像とを使用する例である。
【0262】
まず、天気「曇り」、温度「25度」、湿度「40%」の環境で、一の被写体に光源を当て、図示しない撮影装置で撮影し、第一の画像を取得し、第一画像格納部31に蓄積する。また、天気「曇り」、温度「22度」、湿度「70%」の環境で、前記一の被写体に光源を当て、図示しない撮影装置で撮影し、第二の画像を取得し、第二画像格納部32に蓄積する。かかる場合、人が視て、第二の画像の方が、通常、より遠近感・しっとり感などを感じることができる。
【0263】
以上により、第一画像格納部31と第二画像格納部32とが構築された。また、第一画像格納部31と第二画像格納部32とが構築された後の処理は、具体例1と同様であるので、説明を省略する。
【0264】
また同様に、まず、天気「曇り」、温度「25度」、湿度「40%」の環境で、一の被写体に光源を当て、図示しない撮影装置で撮影し、第一の画像を取得し、第一画像格納部31に蓄積する。また、天気「晴れ」、温度「28度」、湿度「20%」の環境で、前記一の被写体に光源を当て、図示しない撮影装置で撮影し、第二の画像を取得し、第二画像格納部32に蓄積する。かかる場合、人が視て、第二の画像の方が、通常、より空気感・温もり感などを感じることができる。
【0265】
以上により、第一画像格納部31と第二画像格納部32とが構築された。また、第一画像格納部31と第二画像格納部32とが構築された後の処理は、具体例1と同様であるので、説明を省略する。
【0266】
(具体例6)
具体例6は、異なる被写界深度の画像を撮影できる撮影装置で取得した第一の画像と第二の画像とを使用する例である。
【0267】
まず、被写界深度がより浅い画像を撮影する撮影装置で、一の被写体に光源を当て、第一の画像を取得し、第一画像格納部31に蓄積する。また、被写界深度がより深い画像を撮影する撮影装置で、前記一の被写体に光源を当て、図示しない撮影装置で撮影し、第二の画像を取得し、第二画像格納部32に蓄積する。かかる場合、人が視て、第二の画像の方が、より全体的にピントが合っていることにより、通常、すっきり感が増加したように感じる。また、第二の画像の方が、奥行きによるメリハリが増し、通常、奥行き感や立体感が得られる。
【0268】
以上により、第一画像格納部31と第二画像格納部32とが構築された。また、第一画像格納部31と第二画像格納部32とが構築された後の処理は、具体例1と同様であるので、説明を省略する。
【0269】
(具体例7)
具体例7は、シャッタースピードが異なる撮影装置で取得した第一の画像と第二の画像とを使用する例である。
【0270】
一の被写体に光源を当て、より遅いシャッタースピード(シャッタースピード=A)の撮影装置で、第一の画像を取得し、第一画像格納部31に蓄積する。また、前記一の被写体に光源を当て、より速いシャッタースピード(シャッタースピード=B,A<B)の撮影装置で、図示しない撮影装置で撮影し、第二の画像を取得し、第二画像格納部32に蓄積する。かかる場合、人が視て、第二の画像の方が、通常、スピード感や躍動感が増加したように感じられる。
【0271】
以上により、第一画像格納部31と第二画像格納部32とが構築された。また、第一画像格納部31と第二画像格納部32とが構築された後の処理は、具体例1と同様であるので、説明を省略する。
【0272】
(具体例8)
具体例8は、異なる画素数のカメラで、同一の被写体を撮影して、取得した第一の画像と第二の画像とを使用する例である。ここでは、第一の画像は、例えば、SDビデオ信号の画像であり、第二の画像は、例えば、HDビデオ信号の画像である。
【0273】
ルックアップテーブル取得装置3の第二画像格納部32には、HDビデオ信号が格納されている。このHDビデオ信号は、例えば、種々の絵柄の静止画像からなる信号である。
【0274】
そして、第二画像関連情報取得部34も、第二画像格納部32から、HDビデオ信号を読み出す。そして、第二画像関連情報取得部34は、ラスター走査の順序のビデオ信号を1画素毎に分割する(以下、注目画素と呼ぶ)。
【0275】
第一画像関連情報取得部33は、第一画像格納部31から注目画素に対応する位置を中心としたブロックを取得する。これは例えば、SDビデオ信号の(2×2×8ビット=32ビット)のデータである(以下、周辺画素と呼ぶ)。このビデオ信号がADRCエンコーダ(特許文献1参照)で、(2×2×4ビット=16ビット)に圧縮される。つまり、第一画像関連情報取得部33は、ブロック内の画像データを最小値除去および量子化を行い、ブロックの最小値MIN、量子化ステップを取得する。そして、第一画像関連情報取得部33は1画素が4ビットに圧縮されたデータを得る。
【0276】
ADRCエンコーダからのコード信号DTが、対応情報が有するアドレス(第一画像関連情報の一例)として供給される。格納部101は、216のアドレス空間を有し、各アドレスに対して、周辺画素から注目画素を推定する演算式および演算パラメータが書き込まれる。
【0277】
ここで、演算式とは、例えば、周辺画素の画素値の線形一次結合式である。また、演算パラメータとは、当該演算結果と注目画素との誤差を最小にするような係数である。かかる係数は最小自乗法によって求めることができる。
【0278】
上述の動作を所定期間で行うことによって、格納部101には、同一ビデオ信号から形成されたHDビデオ信号の画像データとSDビデオ信号のADRC符号化されたブロックとの間の関係を示すルックアップテーブルが蓄えられる。なお、かかる具体例8の処理については、特許文献1および特許文献2に記載されている。
【0279】
以上、本実施の形態によれば、目的に応じて脳負荷が調整された画像を生成するために利用できるルックアップテーブルを自動取得できる。
【0280】
また、本実施の形態によれば、画像の視聴者であるユーザがルックアップテーブル取得装置3を用いて、ルックアップテーブルを作成すれば、自分にとって、目的に応じて脳負荷が調整された画像を出力できるルックアップテーブルを得ることができる。
【0281】
また、本実施の形態によれば、ユーザの属性(30歳まで、60歳以上、女性、男性、高校生など)ごとに、1以上のユーザが第二の画像を選択する処理を行えば、ユーザの属性ごとにルックアップテーブルが作成され得る。そして、そのように作成されたルックアップテーブルを用いた画像処理装置(例えば、テレビ受信機)は、ユーザ属性ごとに、自分の嗜好に合致するように、脳負荷が調整された画像を出力できる。
【0282】
また、本実施の形態のルックアップテーブル取得装置3において、第二画像情報候補集合格納部33、指示受付部103、候補出力部34、第二画像蓄積部35等の一部の構成要素を具備しなくても良いことは言うまでもない。
【0283】
さらに、本実施の形態におけるルックアップテーブル取得装置3を用いて取得したルックアップテーブルが、実施の形態1、2で説明した画像処理装置に複写され、利用されることは好適である。
【0284】
なお、本実施の形態におけるルックアップテーブル取得装置を実現するソフトウェアは、以下のようなプログラムである。つまり、このプログラムは、記憶媒体に、1以上の第一の画像と、第一の画像に対して、脳負荷が調整された画像であり、前記1以上の各第一の画像と同一の対象についての画像である1以上の各第二の画像を、前記1以上の各第一の画像に対応付けて格納しており、コンピュータを、前記記憶媒体に格納されている1以上の第一の画像の全部または一部分に関する情報である1以上の第一画像関連情報を、前記1以上の第一の画像の全部または一部分から取得する第一画像関連情報取得部と、前記記憶媒体に格納されている1以上の第二の画像の全部または一部分に関する情報である1以上の第二画像関連情報を、前記1以上の第二の画像の全部または一部分から取得する第二画像関連情報取得部と、前記第一画像関連情報取得部が取得した第一画像関連情報と、当該第一画像関連情報に対応する情報であり、前記第二画像関連情報取得部が取得した第二画像関連情報とを有する情報であり、前記1以上の第一の画像の全部または一部分と前記1以上の第二の画像の全部または一部分との対応を示す情報である対応情報を、1または2以上有するルックアップテーブルを構成するルックアップテーブル構成部と、前記ルックアップテーブル構成部が構成したルックアップテーブルを、記憶媒体に蓄積するルックアップテーブル蓄積部として機能させるためのプログラム、である。
【0285】
また、上記プログラムにおいて、記憶媒体に、1以上の各第一の画像に対応付けて、当該1以上の各第一の画像と同一の対象についての2以上の第二の画像の候補の集合である第二画像情報候補集合を1以上、さらに格納しており、コンピュータを、前記1以上の第二画像情報候補集合を出力する候補出力部と、前記候補出力部が出力した1以上の各第二画像情報候補集合が有する2以上第二の画像の候補のうち、1以上の第二の画像の候補を選択する指示を受け付ける指示受付部と、前記指示受付部が受け付けた指示に対応する1以上の第二の画像の候補を、第二画像情報候補集合に対応する第一の画像に対応付けて、前記第二画像格納部に蓄積する第二画像蓄積部としてさらに機能させるプログラムであることは好適である。
(実施の形態4)
本実施の形態において、ルックアップテーブル取得装置3を用いて、ルックアップテーブルを生成する処理の具体例について、さらに説明する。
本具体例は、ルックアップテーブルを構成する対応情報が、特徴量ベクトルと画像の変換フィルタである場合である。なお、特徴量ベクトルとは、入力画像(第一の画像)から抽出される情報である。また、画像の変換フィルタは、例えば、1以上のフィルタ係数の集合である。
今、第一画像格納部31には、例えば、図16に示すような被写界深度の浅い第一の画像をはじめ、多数の画像が格納されている。また、第二画像格納部32には、例えば、図17に示すような被写界深度の深い第二の画像をはじめ、多数の画像が格納されている。なお、ある第一の画像とある第二の画像とは対応付けられている。つまり、例えば、図16の第一の画像と図17の第二の画像とは対応付けられている。
また、第一の画像より第二の画像の方が、被写界深度が深い。また、図16の被写界深度は浅く、画像の手前の赤い車にフォーカスが合っている。一方、図17の被写界深度は深く、画像の奥の黄色い車にもフォーカスが合っている。なお、一般的に、第一の画像と比較して、被写界深度の深い第二の画像の方が画像全体を理解しやすく、脳の負荷の少ない好ましい画像であると言える。
かかる状況において、ユーザから、ルックアップテーブルを構築する指示が入力された、とする。次に、第一画像関連情報取得部36は、第一の画像(ここでは、例えば、図16)を第一画像格納部31から読み出す。そして、第一画像関連情報取得部36は、第一の画像を分割し、複数の時空間ブロックを取得する。ここでは、図18に示すように、第一画像関連情報取得部36は、第一の画像を16分割し、16の第一の時空間ブロックを取得する。なお、図18において、各第一の時空間ブロックには、ブロック識別子が記載されている。
次に、第二画像関連情報取得部37は、第二の画像(ここでは、例えば、図17)を第二画像格納部32から読み出す。そして、第二画像関連情報取得部37は、第二の画像を分割し、複数の時空間ブロックを取得する。ここでは、図19に示すように、第二画像関連情報取得部37は、第二の画像を16分割し、16の第二の時空間ブロックを取得する。なお、図19において、各第二の時空間ブロックには、ブロック識別子が記載されている。
次に、ルックアップテーブル構成部38は、第一の画像の1番目の第一の時空間ブロックを、第二の画像の1番目の第二の時空間ブロックへ変換する変換フィルタのフィルタ係数を、例えば、最小二乗推定を用いて算出する。
同様に、ルックアップテーブル構成部38は、第一の画像のn番目(nは2〜16)の第一の時空間ブロックを、第二の画像のn番目(nは2〜16)の第二の時空間ブロックへ変換する変換フィルタのフィルタ係数を、順次、例えば、最小二乗推定を用いて算出する。
以上により、16種類の画像変換フィルタのフィルタ係数が得られる。なお、図20は、ルックアップテーブル構成部38が行うかかる動作を説明する概念図である。図20において、F04は4番目の画像変換フィルタを示し、F15は15番目の画像変換フィルタを示す。
次に、ルックアップテーブル構成部38は、第一の画像の16の各第一の時空間ブロックの近傍特徴量を取得する。なお、例えば、ルックアップテーブル構成部38は、各第一の時空間ブロックに対して、離散フーリエ変換を用いて周波数成分を算出し、帯域別のパワーを取得する。この帯域別のパワーを近傍特徴量の特徴量ベクトルとする。なお、かかる処理の概念を図21に示す。図21において、例えば、ルックアップテーブル構成部38は、4番目の第一の時空間ブロックから近傍特徴量の特徴量ベクトル「α04=(p04-1,p04-2,p04-3,p04-4)」を取得し、15番目の第一の時空間ブロックから近傍特徴量の特徴量ベクトル「α15=(p15-1,p15-2,p15-3,p15-4)」を取得している。
次に、ルックアップテーブル構成部38は、第一の画像全体の特徴量である全体特徴量を算出する。例えば、ルックアップテーブル構成部38は、局所で求めた特徴量ベクトル(近傍特徴量のベクトル)の各成分毎の分散「A1=(V1,V2,V3,V4)」を、全体特徴量として算出する。なお、かかる処理の概念を図22に示す。
次に、ルックアップテーブル構成部38は、各領域毎の全体特徴量と近傍特徴量とを連結し、対応情報を構成する特徴量ベクトル「(A1,α01)等」を構成する。また、ルックアップテーブル構成部38は、特徴量ベクトルとフィルタ係数とを対応付けた対応情報を構成する。
そして、ルックアップテーブル蓄積部39は、特徴量ベクトルとフィルタ係数とを対応付けた16の対応情報を格納部101に蓄積する。
以上の処理を、他の組の第一の画像と第二の画像に対して行う。そして、ルックアップテーブル取得装置3は、図23に示すルックアップテーブルを取得する。図23のルックアップテーブルは、多数の対応情報を有する。また、対応情報は、ここでは、特徴量ベクトルとフィルタ係数とを有する。
以上、本実施の形態において、目的に応じて脳負荷が調整された画像を生成するために利用できるルックアップテーブルを自動取得できる。
(実施の形態5)
本実施の形態において、実施の形態4で構築したルックアップテーブルを用いて、目的に応じて、受け付けた画像に対して、脳負荷が調整された画像を取得する画像処理装置4について説明する。
図24は、本実施の形態における画像処理装置4のブロック図である。画像処理装置4は、格納部101、画像受付部104、分割部105、画像解析部106、マッピング部107、合成部108、および画像出力部109を具備する。
今、画像処理装置4の格納部101は、図23に示すルックアップテーブルを格納している。なお、ルックアップテーブは、特徴量ベクトルをキーとして、インデックス化されていることは好適である。また、ルックアップテーブは、特徴量ベクトルをキーとして、対応情報がソートされていることは好適である。
また、画像受付部104は、図25に示す画像を受け付けた、とする。なお、図25の画像は、被写界深度の浅い画像である。
次に、画像解析部106は、図25の画像の全体特徴量(An)を算出する。なお、全体特徴量の算出方法は、実施の形態4で説明した処理と同じ処理である。
次に、画像解析部106等は、図25の画像の各画素に対して、近傍特徴量(αn)を算出する。ここでの近傍特徴量は、当該画素の近傍16×16画素ブロック内での周波数成分を算出し、帯域別のパワーを取得する。なお、かかる処理についても、実施の形態4で説明した処理と同様の処理である。
次に、画像解析部106は、各画素に対して、全体特徴量と近傍特徴量とを合成した特徴量ベクトル(An,αn)を構成する。
次に、画像解析部106は、各画素に対応する特徴量ベクトル(An,αn)と、ルックアップテーブルを構成する2以上の対応情報が有する2以上の特徴量ベクトルとの距離を算出し、最も距離が近い特徴量ベクトル「例えば、(Am,αm)」を決定する。
そして、マッピング部107は、各画素毎に、最も距離が近い特徴量ベクトルと対になるフィルタ係数「例えば、Fm」を取得する。
次に、マッピング部107は、入力画像の各画素に対して、取得したフィルタ係数により実現される変換フィルタを施し、第二の画像(出力画像)の各画素を取得する。
そして、合成部108は、取得した各画素を、入力画像の画素の位置の出力画素値として、出力画像を構成する。次に、画像出力部109は、構成された出力画像を出力する。以上の処理の概念を図26に示す。
以上、本実施の形態によれば、好適に脳負荷が調整された画像を出力できる。
なお、本実施の形態において、ルックアップテーブルを構成する特徴量ベクトルの取得方法と、画像解析部106の特徴量ベクトルの取得方法とは異なった。しかし、ルックアップテーブルを構成する特徴量ベクトルの取得方法と、画像解析部106の特徴量ベクトルの取得方法とは同じでも良い。
(実施の形態6)
本実施の形態において、ルックアップテーブルを用いて、目的に応じて、受け付けた画像に対して、脳負荷が調整された画像を取得する画像処理装置5について説明する。なお、本実施の形態において、実施の形態1等と異なる主たる点は、入力画像に応じて、適用する拘束条件が動的に変化する点である。
図27は、本実施の形態における画像処理装置5のブロック図である。
画像処理装置5は、格納部101、拘束条件格納部502、指示受付部503、画像受付部104、分割部105、画像解析部106、マッピング部507、合成部108、画像出力部109、および拘束条件変更部510を具備する。
マッピング部507は、例えば、出力画像候補取得手段1072、判断手段1073、特徴量取得手段5071、拘束条件決定手段5072、変更手段5074、および出力画像取得手段1075を具備する。
拘束条件格納部502は、条件識別情報と拘束条件との組である拘束情報を2以上、格納し得る。ここでの拘束条件は、出力画像に関する条件を例にとり説明するが、入力画像または対応情報に関する条件でも良い。条件識別情報は、拘束条件を識別する情報である。条件識別情報は、例えば、特徴量ベクトルである。また、ベクトルを構成する特徴量は、例えば、入力画像の近傍空間アクティビティーである。近傍空間アクティビティーとは、例えば、フィールド上の同一位置の画素の時間差分値、傾き(一次および二次空間微分値)、極小値および極大値(1位値)、n位値、ダイナミックレンジ、空間差分値、画素値分散、空間周波数高域のパワー、時間アクティビティーと空間アクティビティーとの比等、種々あり得る。また、拘束条件は、適正な近傍空間アクティビティーである。なお、拘束情報の例を図28に示す。図28において、拘束情報は、条件識別情報である近傍空間アクティビティーと、拘束条件である適正アクティビティーとを有する。
指示受付部503は、拘束条件を変更するための指示をユーザから受け付ける。なお、指示は、例えば、図28の拘束情報を修正する指示である。また、指示は、例えば、ユーザが画像から受ける刺激量を変更する指示である。
マッピング部507を構成する特徴量取得手段5071は、画像受付部104が受け付けた画像(入力画像)の特徴量ベクトルを取得する。特徴量取得手段5071は、画像受付部104が受け付けた画像全部の特徴量ベクトルを取得しても良いし、画像受付部104が受け付けた画像を構成する時空間ブロックの特徴量ベクトルを取得しても良い。
拘束条件決定手段5072は、特徴量取得手段5071が取得した特徴量ベクトルを、拘束条件格納部502の拘束情報に適用し、拘束条件を選択する。さらに具体的には、拘束条件決定手段5072は、特徴量取得手段5071が取得した特徴量ベクトルと最も距離が近い条件識別情報(この条件識別情報も特徴量ベクトルである場合)を選択し、当該選択した条件識別情報と対になる拘束条件を拘束条件格納部502から取得する。
変更手段5074は、判断手段1073が拘束条件を満たさないと判断した場合に、拘束条件決定手段5072が取得した拘束条件を用いて、第二の画像の全部または一部分を変更する。なお、変更手段5074は、判断手段1073が拘束条件を満たさないと判断した場合に、ルックアップテーブルを変更しても良い。また、変更手段5074は、判断手段1073が拘束条件を満たさないと判断した場合に、判断後に受け付けられる入力画像、または判断後に得られた時空間ブロック、または判断後に受け付けられる入力画像の1以上の特徴量、または判断後に得られた時空間ブロックの1以上の特徴量を変更しても良い。
拘束条件変更部510は、指示受付部503が受け付けた指示に従って、拘束情報を変更する。また、拘束条件変更部510は、自動的に拘束情報を変更しても良い。つまり、拘束条件変更部510は、例えば、ユーザ属性(年齢、性別、住所等)、放送に重畳された情報(EPGに含まれる情報など)、時刻、時間帯、外部センサ情報(例えば視聴している部屋の明るさ、温度等)に応じて、自動的に拘束情報を変更しても良い。なお、かかる場合、拘束条件変更部510は、ユーザ属性等に応じて、どのように拘束情報を変更するかについての情報(例えば、ユーザ属性と変更するアルゴリズムを示す式の対応表等)を予め保持している。また、外部センサ情を用いる場合、拘束条件変更部510は、図示しないセンサから情報(部屋の明るさ、温度等)を取得する。
拘束条件格納部502は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。拘束条件格納部502に拘束情報が記憶される過程は問わない。例えば、記録媒体を介して拘束情報が拘束条件格納部502で記憶されるようになってもよく、通信回線等を介して送信された拘束情報が拘束条件格納部502で記憶されるようになってもよく、あるいは、入力デバイスを介して入力された拘束情報が拘束条件格納部502で記憶されるようになってもよい。
指示受付部503は、キーボード等の入力手段のデバイスドライバーや、メニュー画面の制御ソフトウェア等で実現され得る。
マッピング部507、拘束条件変更部510、特徴量取得手段5071、拘束条件決定手段5072、および変更手段5074は、通常、MPUやメモリ等から実現され得る。マッピング部507等の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
次に、画像処理装置5の動作について、図29のフローチャートを用いて説明する。図29のフローチャートにおいて、図2のフローチャートと異なるステップについて説明する。
(ステップS2901)マッピング部507は、マッピング処理を行う。マッピング処理について、図30のフローチャートを用いて説明する。
(ステップS2902)指示受付部503は、ユーザの指示を受け付けたか否かを判断する。ユーザの指示を受け付ければステップS2903に行き、ユーザの指示を受け付けなければステップS201に戻る。
(ステップS2903)拘束条件変更部510は、指示受付部503が受け付けた指示に従って、拘束情報を変更する。
なお、図29のフローチャートにおいて、入力画像を分割し、時空間ブロックごとに、処理が行われた。しかし、図29のフローチャートにおいて、入力画像全体に対して、処理が行われても良い。
次に、ステップS2901のマッピング処理について、図30のフローチャートを用いて説明する。図30のフローチャートにおいて、図4のフローチャートと異なるステップについて説明する。
(ステップS3001)マッピング部507を構成する特徴量取得手段507は、画像受付部104が受け付けた画像の特徴量ベクトルを取得する。
(ステップS3002)拘束条件決定手段5072は、特徴量取得手段5071が取得した特徴量ベクトルを、拘束条件格納部502の拘束情報に適用し、拘束条件を決定する。かかる拘束条件決定処理について、図31のフローチャートを用いて説明する。
次に、ステップS3002の拘束条件決定処理について、図31のフローチャートを用いて説明する。
(ステップS3101)拘束条件決定手段5072は、カウンタiに1を代入する。
(ステップS3102)拘束条件決定手段5072は、拘束条件格納部502にi番目の拘束情報が存在するか否かを判断する。i番目の拘束情報が存在すればステップS3103に行き、存在しなければステップS3106に行く。
(ステップS3103)拘束条件決定手段5072は、i番目の拘束情報が有する条件識別情報を拘束条件格納部502から取得する。
(ステップS3104)拘束条件決定手段5072は、ステップS3001で取得された特徴量ベクトルと、i番目の条件識別情報との距離を算出する。そして、拘束条件決定手段5072は、i番目の条件識別情報に対応付けて、当該距離をバッファに一時蓄積する。
(ステップS3105)拘束条件決定手段5072は、カウンタiを1、インクリメントし、ステップS3102に戻る。
(ステップS3106)拘束条件決定手段5072は、ステップS3001で取得された特徴量ベクトルとの距離が最小の条件識別情報と対になる拘束条件を、拘束条件格納部502から取得する。上位処理にリターンする。
以上、本実施の形態によれば、入力画像に応じて、適用する拘束条件を変え、当該拘束条件に合致する出力画像を構成することにより、極めて高品質な画像を出力できる。
なお、本実施の形態において、拘束条件決定手段5072は、入力画像に応じて適用する拘束条件を変更して、取得した。しかし、拘束条件決定手段5072は、出力画像に応じて適用する拘束条件を変更しても良い。また、拘束条件決定手段5072は、入力画像と出力画像とに応じて適用する拘束条件を変更しても良い。
また、本実施の形態において、画像受付部104が受け付けた画像を分割部105が分割した。しかし、画像受付部104が受け付けた画像を分割しなくても良い。かかる場合、画像処理装置5において、分割部105は不要である。かかることは、他の実施の形態においても同様である。
(実施の形態7)
本実施の形態において、ルックアップテーブルを用いて、目的に応じて、受け付けた画像に対して、脳負荷が調整された画像を取得する画像処理装置6について説明する。なお、本実施の形態において、実施の形態1等と異なる主たる点は、入力画像や出力画像に応じて、適用するルックアップテーブルが動的に変化する点である。
図32は、本実施の形態における画像処理装置6のブロック図である。
画像処理装置6は、格納部101、拘束条件格納部502、指示受付部603、画像受付部104、分割部105、画像解析部106、マッピング部607、合成部108、画像出力部109、およびLUT変更情報変更部610を具備する。
また、マッピング部607は、例えば、出力画像候補取得手段1072、判断手段1073、第一特徴量取得手段6071、第二特徴量取得手段6072、LUT変更情報格納手段6073、LUT決定手段6074、変更手段5074、および出力画像取得手段1075を具備する。
ここでの格納部101は、2以上のルックアップテーブル(以下、適宜「LUT」と言う)を格納している。
指示受付部603は、後述するLUT変更情報を変更するための指示をユーザから受け付ける。なお、指示は、例えば、ユーザが画像から受ける刺激量を変更する指示である。
マッピング部607を構成する第一特徴量取得手段6071は、画像受付部104が受け付けた画像の特徴量ベクトルを取得する。第一特徴量取得手段6071は、上述した特徴量取得手段5071と同様の動作を行う。なお、第一特徴量取得手段6071が取得する特徴量ベクトルを第一特徴量ベクトルと言うこととする。
第二特徴量取得手段6072は、出力画像取得手段1075が取得した出力画像の特徴量ベクトルを取得する。第二特徴量取得手段6072は、情報の取得元が第一特徴量取得手段6071とは異なるが、第一特徴量取得手段6071と同様の動作を行う。なお、第一特徴量取得手段6071が取得する1以上の特徴量と、第二特徴量取得手段6072が取得する1以上の特徴量とが、すべて同一の特徴量でも良いし、一部に同一の特徴量を含んでも良いし、すべて異なる特徴量でも良い。なお、第二特徴量取得手段6072が取得する特徴量ベクトルを第二特徴量ベクトルと言うこととする。
LUT変更情報格納手段6073は、出力画像候補取得手段1072が出力する画像の候補を取得する際に利用するLUTを変更するための情報であるLUT変更情報を格納している。LUT変更情報は、例えば、第一特徴量ベクトルとルックアップテーブルを識別する種類識別子との対である。また、LUT変更情報は、例えば、第二特徴量ベクトルと種類識別子との対でも良い。また、LUT変更情報は、例えば、第一特徴量ベクトルと第二特徴量ベクトルと種類識別子との対でも良い。また、LUT変更情報は、例えば、第一特徴量ベクトルと、2以上の種類識別子と、各種類識別子に対応する2以上の比の対である。また、LUT変更情報は、例えば、第二特徴量ベクトルと、2以上の種類識別子と、各種類識別子に対応する2以上の比の対でも良い。また、LUT変更情報は、例えば、第一特徴量ベクトルと、第二特徴量ベクトルと、2以上の種類識別子と、各種類識別子に対応する2以上の比の対でも良い。なお、LUT変更情報格納手段6073は、通常、2以上のLUT変更情報を格納している。また、上記の比とは、2以上のLUTを混合して、新しいLUTを構成する場合の、各LUTに対応する比である。
また、LUT変更情報格納手段6073に格納されているLUT変更情報管理表の例を図33に示す。図33において、LUT変更情報管理表は、複数のLUT変更情報を有する。LUT変更情報は、「ID」「第一特徴量ベクトル」「第二特徴量ベクトル」「LUT」「比」を有する。「LUT」は種類識別子である。「比」は、新しいLUTを構成する場合の、各LUTの混合比を示す情報である。なお、「比」は、比率であるとは限らず、複数のLUTを用いて、新しいLUTを構成するための情報であれば何でも良い。新しいLUTを構成するための情報は、例えば、複数のLUTを構成する要素をパラメータとする演算式等である。LUTを構成する要素とは、例えば、フィルタの係数や、特徴量ベクトルの要素である。
LUT決定手段6074は、LUT変更情報格納手段6073のLUT変更情報を用いて、出力画像候補取得手段1072が利用するLUTを決定する。さらに具体的には、LUT決定手段6074は、第一特徴量ベクトル、または第二特徴量ベクトル、または第一特徴量ベクトルと第二特徴量ベクトルを、LUT変更情報に適用して、出力画像候補取得手段1072が利用するLUTを決定する。また、LUT決定手段6074は、第一特徴量ベクトル、または第二特徴量ベクトル、または第一特徴量ベクトルと第二特徴量ベクトルを、LUT変更情報に適用して、LUTを構成しても良い。
以下、LUT変更情報格納手段6073に図33のLUT変更情報管理表が格納されている場合のLUT決定手段6074の動作について説明する。LUT決定手段6074は、第一特徴量取得手段6071が取得した第一特徴量ベクトルと、LUT変更情報管理表の各レコードの第一特徴量ベクトルとの距離を算出する。次に、LUT決定手段6074は、第二特徴量取得手段6072が取得した第二特徴量ベクトルと、LUT変更情報管理表の各レコードの第二特徴量ベクトルとの距離を算出する。そして、LUT決定手段6074は、LUT変更情報管理表の各レコード毎に、例えば、2つの距離の和を取得する。次に、LUT決定手段6074は、2つの距離の和が最小のレコードを決定する。次に、LUT決定手段6074は、決定したレコードが有する「LUT」の属性値、または決定したレコードが有する「LUT」の属性値と「比」の属性値を取得する。決定したレコードが有する「LUT」の属性値が一つの種類識別子である場合、LUT決定手段6074は、当該種類識別子で識別されるLUTを、出力画像候補取得手段1072が利用するLUTとして決定する。一方、決定したレコードが有する「LUT」の属性値が2以上の種類識別子である場合、LUT決定手段6074は、2以上の各種類識別子と「比」の属性値(以下、単に比とも言う。)との組を取得し、比に合致するように、2以上の各種類識別子で識別されるLUTを混合して、新しいLUTを構成する。
LUT変更情報変更部610は、指示受付部603が受け付けた指示に従って、LUT変更情報を変更する。また、LUT変更情報変更部610は、自動的にLUT変更情報を変更しても良い。つまり、LUT変更情報変更部610は、例えば、ユーザ属性(年齢、性別、住所等)、放送に重畳された情報(EPGに含まれる情報など)、時刻、時間帯、外部センサ情報(例えば視聴している部屋の明るさ、温度等)に応じて、自動的にLUT変更情報を変更しても良い。なお、かかる場合、LUT変更情報変更部610は、ユーザ属性等に応じて、どのようにLUT変更情報を変更するかについての情報を予め保持している。また、外部センサ情を用いる場合、拘束条件変更部510は、図示しないセンサから情報(部屋の明るさ、温度等)を取得する。
指示受付部603は、キーボード等の入力手段のデバイスドライバーや、メニュー画面の制御ソフトウェア等で実現され得る。
マッピング部607、LUT変更情報変更部610、第一特徴量取得手段6071、第二特徴量取得手段6072、およびLUT決定手段6074は、通常、MPUやメモリ等から実現され得る。マッピング部607等の処理手順は、通常、ソフトウェアで実現され、当該ソフトウェアはROM等の記録媒体に記録されている。但し、ハードウェア(専用回路)で実現しても良い。
LUT変更情報格納手段6073は、不揮発性の記録媒体が好適であるが、揮発性の記録媒体でも実現可能である。LUT変更情報格納手段6073にLUT変更情報が記憶される過程は問わない。例えば、記録媒体を介してLUT変更情報がLUT変更情報格納手段6073で記憶されるようになってもよく、通信回線等を介して送信されたLUT変更情報がLUT変更情報格納手段6073で記憶されるようになってもよく、あるいは、入力デバイスを介して入力されたLUT変更情報がLUT変更情報格納手段6073で記憶されるようになってもよい。
次に、画像処理装置6の動作について、図34のフローチャートを用いて説明する。図34のフローチャートにおいて、図2のフローチャートと異なるステップについて説明する。
(ステップS3401)マッピング部607は、マッピング処理を行う。マッピング処理について、図35のフローチャートを用いて説明する。
(ステップS3402)指示受付部603は、ユーザの指示を受け付けたか否かを判断する。ユーザの指示を受け付ければステップS3403に行き、ユーザの指示を受け付けなければステップS201に戻る。
(ステップS3403)LUT変更情報変更部610は、指示受付部503が受け付けた指示に従って、LUT変更情報を変更する。
次に、ステップS3401のマッピング処理について、図35のフローチャートを用いて説明する。図35のフローチャートにおいて、図4のフローチャートと異なるステップについて説明する。
(ステップS3501)マッピング部607の第一特徴量取得手段6071は、画像受付部104が受け付けた入力画像から第一特徴量ベクトルを取得する。
(ステップS3502)第二特徴量取得手段6072は、出力画像取得手段1075が取得した出力画像から第二特徴量ベクトルを取得する。なお、ここで、第二特徴量ベクトルを取得する元になる出力画像は、通常、直前に出力された出力画像である。
(ステップS3503)LUT決定手段6074は、ステップS3501で取得された第一特徴量ベクトルと、ステップS3502で取得された第二特徴量ベクトルとを用いて、LUTを決定する。かかる処理であるLUT決定処理について、図36のフローチャートを用いて説明する。
次に、ステップS3503のLUT決定処理について、図36のフローチャートを用いて説明する。
(ステップS3601)LUT決定手段6074は、カウンタiに1を代入する。
(ステップS3602)LUT決定手段6074は、i番目のLUT変更情報が存在するか否かを判断する。i番目のLUT変更情報が存在すればステップS3603に行き、存在しなければステップS3607に行く。
(ステップS3603)LUT決定手段6074は、i番目のLUT変更情報が有する第一特徴量ベクトルを取得する。そして、LUT決定手段6074は、取得した第一特徴量ベクトルと、ステップS3501で取得された第一特徴量ベクトルとの間の距離(d1)を算出する。
(ステップS3604)LUT決定手段6074は、i番目のLUT変更情報が有する第二特徴量ベクトルを取得する。そして、LUT決定手段6074は、取得した第二特徴量ベクトルと、ステップS3502で取得された第二特徴量ベクトルとの間の距離(d2)を算出する。
(ステップS3605)LUT決定手段6074は、ステップS3603で算出した距離(d1)と、ステップS3604で算出した距離(d2)とを算出式に代入し、当該算出式を実行する。そして、LUT決定手段6074は、i番目のLUT変更情報のコスト(C)を取得する。そして、LUT決定手段6074は、当該コスト(C)をi番目のLUT変更情報と対応付けて、少なくとも一時蓄積する。なお、算出式は、2つの距離をパラメータとする算出式であり、各距離をパラメータとする関数である。なお、かかる関数は、通常、各距離をパラメータとする増加関数である。算出式は、例えば、「C=a1×d1+(1−a1)×d2」である。なお、a1は、例えば、0.5、0.8等である。
(ステップS3606)LUT決定手段6074は、カウンタiを1、インクリメントする。
(ステップS3607)LUT決定手段6074は、ステップS3605で算出したコストが最も小さいLUT変更情報が有する1以上の種類識別子を取得する。
(ステップS3608)LUT決定手段6074は、ステップS3607で取得した種類識別子が複数であるか否かを判断する。複数であればステップS3609に行き、1つであればステップS3611に行く。
(ステップS3609)LUT決定手段6074は、LUT変更情報格納手段6073から、コストが最も小さいLUT変更情報が有する複数の比を、種類識別子と対応付けて取得する。
(ステップS3610)LUT決定手段6074は、複数の種類識別子に対応するLUTを、格納部101から取得する。そして、LUT決定手段6074は、ステップS3609で取得した比に応じて、取得したLUTを混合し、新しいLUTを生成する。かかる新しいLUTは、出力画像候補取得手段1072が使用するLUTである。
なお、LUTの混合とは、例えば、以下のような処理である。例えば、LUTを構成する対応情報が特徴量ベクトルとパラメータ群(例えば、フィルタの係数の集合)である、とする。そして、複数のLUTは、同一の特徴量ベクトルを有する、とする。そして、LUT決定手段6074は、同一の特徴量ベクトルに対応する複数のLUTのパラメータ群を取得し、当該パラメータ群を構成する各パラメータを、比に応じて混合する。例えば、LUT「A」のある対応情報が有する特徴量ベクトルがV1であり、パラメータ群が(4,10,7,・・・)であった、とする。また、LUT「B」のある対応情報が有する特徴量ベクトルがV1であり、パラメータ群が(10,8,17,・・・)であった、とする。そして、LUT「A」に対応する比が「a1」、LUT「A」に対応する比が「1−a1」であった、とする。かかる場合、LUT決定手段6074は、パラメータ群(4×a1+10×(1−a1),10×a1+8×(1−a1),7×a1+17×(1−a1),・・・)を取得する。かかる処理を、すべての対応情報に対して行う。
(ステップS3611)LUT決定手段6074は、LUT変更情報格納手段6073から、コストが最も小さいLUT変更情報が有する種類識別子で識別されるLUTを取得する。かかるLUTは、出力画像候補取得手段1072が使用するLUTである。
以上、本実施の形態によれば、入力画像、または出力画像、または入力画像と出力画像に応じて、適用するルックアップテーブルを変え、出力画像を構成することにより、極めて高品質な画像を出力できる。
(実施の形態8)
本実施の形態において、画像学習装置7について説明する。画像学習装置7は、ルックアップテーブル取得装置3がルックアップテーブルを構成するために用いる第一の画像と第二の画像とを取得する装置である。また、ここでの画像学習装置7は、主として、エンターテインメント性を向上させる画像処理装置で用いられるルックアップテーブルのための装置である。
図37は、画像学習装置7のブロック図である。画像学習装置7は、第一画像格納部31、第二画像格納部32、画像生成部71、画像蓄積部72を有する。なお、第一画像格納部31および第二画像格納部32は、ルックアップテーブル取得装置3等の装置を構成する。
第一画像格納部31は、1以上の第一の画像を格納し得る。第一画像格納部31は、動画である第一の画像を格納していても良い。
第二画像格納部32は、1以上の第二の画像を格納し得る。第二画像格納部32は、動画である第二の画像を格納していても良い。
画像生成部71は、第一画像格納部31に格納されている第一の画像から第二の画像を生成する。また、画像生成部71は、第二画像格納部32に格納されている第二の画像から第一の画像を生成しても良い。
例えば、画像生成部71は、以下の第二の画像、または第一の画像を生成する。
(1)白画像であるフラッシュ画像を挿入した第二の画像の生成
画像生成部71は、動画である第一の画像を第一画像格納部31から読み出す。次に、画像生成部71は、第一の画像の任意のフレーム位置に白画像のフレームを挿入し、第二の画像を取得する。
(2)輝度値を上げた画像であるフラッシュ画像を挿入した第二の画像の生成
画像生成部71は、動画である第一の画像を第一画像格納部31から読み出す。次に、画像生成部71は、第一の画像の任意のフレーム位置のフレームの輝度値を上げ、第二の画像を取得する。
(3)高コントラスト画像であるフラッシュ画像を挿入した第二の画像の生成
画像生成部71は、動画である第一の画像を第一画像格納部31から読み出す。次に、画像生成部71は、第一の画像の任意のフレーム位置に高コントラスト画像を挿入し、第二の画像を取得する。
(4)画面不均一に画像を強調した第二の画像の生成
画像生成部71は、動画である第一の画像を第一画像格納部31から読み出す。次に、画像生成部71は、第一の画像の任意の位置のフレームに対して、エッジ強調やコントラスト変更等を施し、第二の画像を取得する。エッジ強調やコントラスト変更等の処理は公知技術であるので、説明を省略する。
(5)フィルムライクな映像の処理
画像生成部71は、フィルムソースの動画である第二の画像を第二画像格納部32から読み出す。次に、第二の画像を画像変換し、第一の画像を取得する。
画像蓄積部72は、画像生成部71が生成した第二の画像を、第二画像格納部32に蓄積する。また、画像蓄積部72は、画像生成部71が生成した第一の画像を、第一画像格納部31に蓄積する。
次に、画像処理装置のマッピング処理について説明する。マッピング処理は、上述した画像処理装置のマッピング部が行う。
第二の画像が上記の(1)から(3)のいずれかで生成されたフラッシュ画像である場合、マッピング部107は、入力画像の特徴量ベクトル(例えば、輝度分布や全画面動き量などを要素として有するベクトル)を用いて、当該特徴量ベクトルに対応する対応情報をLUTから取得する。そして、マッピング部107は、取得した対応情報を用いて、特殊フレームを挿入する。なお、入力画像の特徴量ベクトルは、画像解析部106が取得する。また、マッピング部107は、入力画像の特徴量ベクトルが所定の条件(対応情報であっても良い)を満たす場合、特殊フレームを挿入しても良い。特殊フレームとは、フラッシュ画像のフレームである。
また、第二の画像が上記の(4)で生成された不均一に強調された画像である場合、マッピング部107は、上述した処理を行うことにより、強調の方法が全画面で一律にならず、例えば、波形に応じて、異なる強調方法が自動で選択される。
また、第二の画像が上記の(5)で生成されたフィルムライクな画像である場合、マッピング部107は、上述した処理を行うことにより、フィルム調の画像に変換した出力画像を出力できる。
なお、例えば、異なる照明環境下で同一の撮影対象を撮影した第一の画像と第二の画像とを、それぞれ第一画像格納部31と、第二画像格納部32に蓄積しても良い。異なる照明環境とは、上述したように、例えば、撮影対象に応じて、照明の明るさを異ならせた環境である。また、異なる照明環境とは、例えば、光源の位置をずらした環境である。
かかる場合、マッピング部107は、上述した処理を行うことにより、画像の質感が向上したり、表面反射特性が全く異なる画像が得られたりする。例えば、入力画像中の新作の弦楽器が、オールドのような渋いニスの色の弦楽器のように出力される。
【0286】
なお、本実施の形態において、第二の画像は、単に第一の画像より高解像度の画像でも良い。つまり、例えば、画像学習装置7は、第二画像格納部32に格納されている高解像度の第二の画像から、より低解像度の第一の画像を生成し、第一画像格納部31に蓄積しても良い。また、例えば、画像学習装置7は、第一画像格納部31に格納されている低解像度の第一の画像から、解像度創造の処理により第二の画像を生成し、第二画像格納部32に蓄積しても良い。
また、図38は、本明細書で述べたプログラムを実行して、上述した実施の形態のルックアップテーブル取得装置等を実現するコンピュータの外観を示す。上述の実施の形態は、コンピュータハードウェア及びその上で実行されるコンピュータプログラムで実現され得る。図38は、このコンピュータシステム340の概観図であり、図39は、コンピュータシステム340のブロック図である。
【0287】
図38において、コンピュータシステム340は、FDドライブ、CD−ROMドライブを含むコンピュータ341と、キーボード342と、マウス343と、モニタ344とを含む。
【0288】
図39において、コンピュータ341は、FDドライブ3411、CD−ROMドライブ3412に加えて、MPU3413と、CD−ROMドライブ3412及びFDドライブ3411に接続されたバス3414と、ブートアッププログラム等のプログラムを記憶するためのROM3415とに接続され、アプリケーションプログラムの命令を一時的に記憶するとともに一時記憶空間を提供するためのRAM3416と、アプリケーションプログラム、システムプログラム、及びデータを記憶するためのハードディスク3417とを含む。ここでは、図示しないが、コンピュータ341は、さらに、LANへの接続を提供するネットワークカードを含んでも良い。
【0289】
コンピュータシステム340に、上述した実施の形態のルックアップテーブル取得装置等の機能を実行させるプログラムは、CD−ROM3501、またはFD3502に記憶されて、CD−ROMドライブ3412またはFDドライブ3411に挿入され、さらにハードディスク3417に転送されても良い。これに代えて、プログラムは、図示しないネットワークを介してコンピュータ341に送信され、ハードディスク3417に記憶されても良い。プログラムは実行の際にRAM3416にロードされる。プログラムは、CD−ROM3501、FD3502またはネットワークから直接、ロードされても良い。
【0290】
プログラムは、コンピュータ341に、上述した実施の形態のルックアップテーブル取得装置等の機能を実行させるオペレーティングシステム(OS)、またはサードパーティープログラム等は、必ずしも含まなくても良い。プログラムは、制御された態様で適切な機能(モジュール)を呼び出し、所望の結果が得られるようにする命令の部分のみを含んでいれば良い。コンピュータシステム340がどのように動作するかは周知であり、詳細な説明は省略する。
【0291】
また、上記プログラムを実行するコンピュータは、単数であってもよく、複数であってもよい。すなわち、集中処理を行ってもよく、あるいは分散処理を行ってもよい。
【0292】
また、上記各実施の形態において、各処理(各機能)は、単一の装置(システム)によって集中処理されることによって実現されてもよく、あるいは、複数の装置によって分散処理されることによって実現されてもよい。
【0293】
本発明は、以上の実施の形態に限定されることなく、種々の変更が可能であり、それらも本発明の範囲内に包含されるものであることは言うまでもない。
【産業上の利用可能性】
【0294】
以上のように、本発明にかかる画像処理装置は、脳負荷が調整された画像を出力できる、という効果を有し、テレビジョン受信機等として有用である。
【符号の説明】
【0295】
1、2 画像処理装置
3 ルックアップテーブル取得装置
31 第一画像格納部
32 第二画像格納部
33 第二画像情報候補集合格納部
34 候補出力部
35 第二画像蓄積部
36 第一画像関連情報取得部
37 第二画像関連情報取得部
38 ルックアップテーブル構成部
39 ルックアップテーブル蓄積部
101 格納部
102 拘束条件格納部
103 指示受付部
104 画像受付部
105 分割部
106 画像解析部
107 マッピング部
108 合成部
109 画像出力部
110 ルックアップテーブル更新部
1071 種類識別子取得手段
1072 出力画像候補取得手段
1073 判断手段
1074 変更手段
1075 出力画像取得手段

【特許請求の範囲】
【請求項1】
1以上の第一の画像の全部または一部と、当該第一の画像とは異なる第二の画像の全部または一部との対応を取るための情報である1または2以上の対応情報を有するルックアップテーブルを格納し得る格納部と、
入力画像、対応情報、または出力画像のうちの1種類以上の情報が満たすべき条件である拘束条件を格納し得る拘束条件格納部と、
1以上の画像を受け付ける画像受付部と、
前記1または2以上の対応情報のうちのいずれかの対応情報を用いて、前記画像受付部が受け付けた1以上の画像の全部または一部分に対応する1以上の第二の画像の全部または一部分を、前記拘束条件に合致するように取得するマッピング部と、
前記マッピング部が取得した1以上の第二の画像の全部または一部分から構成される出力画像を出力する画像出力部とを具備する画像処理装置。
【請求項2】
前記拘束条件は、
出力画像が満たすべき条件であり、
前記マッピング部は、
前記1または2以上の対応情報のうちのいずれかの対応情報を用いて、第二の画像の全部または一部分を取得する出力画像候補取得手段と、
前記出力画像候補取得手段が取得した第二の画像の全部または一部分が、前記拘束条件を満たすか否かを判断する判断手段と、
前記判断手段が前記拘束条件を満たさないと判断した場合に、前記第二の画像の全部または一部分を、前記拘束条件を満たすように変更して、変更画像を取得する変更手段と、
前記判断手段が前記拘束条件を満たすと判断した第二の画像の全部または一部分、または前記変更手段が取得した変更画像、または前記判断手段が前記拘束条件を満たすと判断した第二の画像の全部または一部分と前記変更手段が取得した変更画像を用いて、出力画像を取得する出力画像取得手段とを具備する請求項1記載の画像処理装置。
【請求項3】
前記ルックアップテーブルは、
2以上の対応情報を有し、
前記画像受付部が受け付けた1以上の画像の全部または一部分に対応する第一の画像の全部または一部分を決定する画像解析部をさらに具備し、
前記出力画像候補取得手段は、
前記画像解析部が決定した第一の画像の全部または一部分に対応する対応情報を用いて、前記画像解析部が決定した第一の画像の全部または一部分に対応する第二の画像を取得する請求項2記載の画像処理装置。
【請求項4】
前記拘束条件は、
入力画像が満たすべき条件であり、
前記マッピング部は、
前記画像受付部が受け付けた画像の一部の1以上の特徴量が、前記拘束条件を満たすか否かを判断する判断手段と、
前記判断手段が前記拘束条件を満たさないと判断した場合に、前記画像の一部の予め決められた範囲の周辺画素の1以上の特徴量を用いて、前記画像の一部の1以上の特徴量を取得する変更手段と、
前記変更手段が取得した1以上の特徴量、または前記画像受付部が受け付けた画像の一部の1以上の特徴量を用いて、1以上の第二の画像の一部分を取得する出力画像取得手段とを具備する請求項1記載の画像処理装置。
【請求項5】
前記ルックアップテーブルは、
2以上の対応情報を有し、
前記画像受付部が受け付けた1以上の画像の全部または一部分に対応する第一の画像の全部または一部分を決定する画像解析部をさらに具備し、
前記拘束条件は、
連続して同一の対応情報を使用しないことであり、
前記マッピング部は、
1以上の第二の画像の全部または一部分を取得するために用いる対応情報を取得し、前記拘束条件に従って、当該対応情報が直前に使用した対応情報と同一か否かを判断する判断手段と、
前記判断手段が前記拘束条件を満たさないと判断した場合に、前記画像解析部に当該決定した第一の画像の全部または一部分を除いて、再度、第一の画像の全部または一部分を決定する指示を前記画像解析部に出し、決定された第一の画像の全部または一部分に対応する対応情報を取得する変更手段と、
前記変更手段が取得した対応情報を用いて、1以上の第二の画像の一部分を取得する出力画像取得手段とを具備し、
前記マッピング部は、
少なくとも最近に使用した対応情報を特定する情報を保持する請求項1記載の画像処理装置。
【請求項6】
前記第一の画像の全部または一部分は、
入力される映像のうちの一部である第一の時空間ブロックであり、
前記第二の画像の全部または一部分は、
画面に出力される映像のうちの一部である第二の時空間ブロックであり、
前記画像受付部は、
1以上の画像の集合である映像を受け付け、
前記画像受付部が受け付けた映像を、空間的、または時間的、または空間的かつ時間的に2以上に分割し、2以上の第一の時空間ブロックを取得する分割部と、
前記マッピング部が取得した2以上の各出力画像の全部または一部分を、当該2以上の各出力画像の全部または一部分に対応する第一の時空間ブロックの時間的、または空間的、または空間的かつ時間的な位置に配置し、出力画像を生成する合成部とをさらに具備し、
前記画像出力部は、
前記合成部が生成した出力画像を出力する請求項1から請求項5いずれか記載の画像処理装置。
【請求項7】
前記対応情報は、
一の環境で得られた一の対象についての第一の画像の全部または一部分の1以上の特徴量と、前記第一の画像の全部または一部分に対応する第二の画像の全部または一部分を生成するための演算式、または演算式に代入するパラメータの集合とを有する情報である請求項1から請求項6いずれか記載の画像処理装置。
【請求項8】
前記格納部は、
ルックアップテーブルの種類を識別する種類識別子と当該種類識別子に対応するルックアップテーブルとの組を2組以上格納しており、
前記マッピング部は、
利用するルックアップテーブルの種類を識別する1以上の種類識別子を取得する種類識別子取得手段を具備し、
前記マッピング部は、
前記1以上の種類識別子に対応する1以上のルックアップテーブルが有するいずれかの対応情報を用いて、前記画像受付部が受け付けた1以上の画像の全部または一部分に対応する1以上の第二の画像の全部または一部分を、前記拘束条件に合致するように取得する請求項1から請求項7いずれか記載の画像処理装置。
【請求項9】
ユーザの指示を受け付ける指示受付部と、
前記指示に応じて、前記ルックアップテーブルが有する1以上の対応情報のいずれかを変更するルックアップテーブル更新部とをさらに具備する請求項1から請求項8いずれか記載の画像処理装置。
【請求項10】
前記格納部に格納されているルックアップテーブルは、
1以上の第一の画像を格納し得る第一画像格納部と、
第一の画像より脳負荷が調整された画像である1以上の各第二の画像を、前記1以上の各第一の画像に対応付けて格納し得る第二画像格納部と、
前記第一の画像の全部または一部分に関する情報である1以上の第一画像関連情報を取得前記第一画像格納部に格納されている1以上の第一の画像の全部または一部分に関する情報である1以上の第一画像関連情報を、前記1以上の第一の画像の全部または一部分から取得する第一画像関連情報取得部と、
前記第二画像格納部に格納されている1以上の第二の画像の全部または一部分に関する情報である1以上の第二画像関連情報を、前記1以上の第二の画像の全部または一部分から取得する第二画像関連情報取得部と、
前記第一画像関連情報取得部が取得した第一画像関連情報と、当該第一画像関連情報に対応する情報であり、前記第二画像関連情報取得部が取得した第二画像関連情報とを有する情報であり、前記1以上の第一の画像の全部または一部分と前記1以上の第二の画像の全部または一部分との対応を示す情報である対応情報を、1または2以上有するルックアップテーブルを構成するルックアップテーブル構成部とを具備するルックアップテーブル取得装置により取得されたルックアップテーブルである請求項1から請求項9いずれか記載の画像処理装置。
【請求項11】
記憶媒体に、
1以上の第一の画像の全部または一部と、当該第一の画像とは異なる第二の画像の全部または一部との対応を取るための情報である1または2以上の対応情報を有するルックアップテーブルと、
入力画像、対応情報、または出力画像のうちの1種類以上の情報が満たすべき拘束条件とを格納しており、
画像受付部、マッピング部、および画像出力部により実現され得る画像処理方法であって、
前記画像受付部が、1以上の画像を受け付ける画像受付ステップと、
前記マッピング部が、前記1または2以上の対応情報のうちのいずれかの対応情報を用いて、前記画像受付部が受け付けた1以上の画像の全部または一部分に対応する1以上の第二の画像の全部または一部分を、、前記拘束条件に合致するように取得するマッピングステップと、
前記画像出力部が、前記マッピングステップで取得された1以上の第二の画像の全部または一部分から構成される出力画像を出力する画像出力ステップとを具備する画像処理方法。
【請求項12】
記憶媒体に、
1以上の第一の画像の全部または一部と、当該第一の画像とは異なる第二の画像の全部または一部との対応を取るための情報である1または2以上の対応情報を有するルックアップテーブルと、
入力画像、対応情報、または出力画像のうちの1種類以上の情報が満たすべき拘束条件とを格納しており、
コンピュータを、
1以上の画像を受け付ける画像受付部と、
前記1または2以上の対応情報のうちのいずれかの対応情報を用いて、前記画像受付部が受け付けた1以上の画像の全部または一部分に対応する1以上の第二の画像の全部または一部分を、前記拘束条件に合致するように取得するマッピング部と、
前記マッピング部が取得した1以上の第二の画像の全部または一部分から構成される出力画像を出力する画像出力部とを具備するものとして機能させるプログラム。

【図1】
image rotate

【図2】
image rotate

【図3】
image rotate

【図4】
image rotate

【図5】
image rotate

【図6】
image rotate

【図7】
image rotate

【図8】
image rotate

【図9】
image rotate

【図10】
image rotate

【図11】
image rotate

【図12】
image rotate

【図13】
image rotate

【図24】
image rotate

【図27】
image rotate

【図28】
image rotate

【図29】
image rotate

【図30】
image rotate

【図31】
image rotate

【図32】
image rotate

【図34】
image rotate

【図35】
image rotate

【図36】
image rotate

【図37】
image rotate

【図38】
image rotate

【図39】
image rotate

【図14】
image rotate

【図15】
image rotate

【図16】
image rotate

【図17】
image rotate

【図18】
image rotate

【図19】
image rotate

【図20】
image rotate

【図21】
image rotate

【図22】
image rotate

【図23】
image rotate

【図25】
image rotate

【図26】
image rotate

【図33】
image rotate


【公開番号】特開2012−252686(P2012−252686A)
【公開日】平成24年12月20日(2012.12.20)
【国際特許分類】
【出願番号】特願2012−10718(P2012−10718)
【出願日】平成24年1月23日(2012.1.23)
【出願人】(509281519)アイキューブド研究所株式会社 (11)
【Fターム(参考)】