色変換装置、色変換方法及びプログラム
【課題】動画像コンテンツに対して最適な色変換処理を施すこと。
【解決手段】動画像コンテンツの画像データをフレーム毎に取得する入出力部１０２と、フレーム毎に画像のオブジェクトを検出するオブジェクト検出部１１２と、検出したオブジェクトから彩色が混同する混同領域を抽出する混同領域抽出部１１６と、特定のフレームから混同領域が抽出された場合に、特定のフレーム及び混同領域が抽出されたオブジェクトが存在する他のフレームにおいて、少なくとも混同領域を含む領域に色変換を施す色変換部１１８と、を備える。
【解決手段】動画像コンテンツの画像データをフレーム毎に取得する入出力部１０２と、フレーム毎に画像のオブジェクトを検出するオブジェクト検出部１１２と、検出したオブジェクトから彩色が混同する混同領域を抽出する混同領域抽出部１１６と、特定のフレームから混同領域が抽出された場合に、特定のフレーム及び混同領域が抽出されたオブジェクトが存在する他のフレームにおいて、少なくとも混同領域を含む領域に色変換を施す色変換部１１８と、を備える。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、色変換装置、色変換方法及びプログラムに関する。
【背景技術】
【０００２】
従来、例えば下記の特許文献１〜３には、色覚保有者に画像を提示する際に、同一画像フレーム内で色相の区別がつかない領域を抽出し、色変換をして提示する方法が提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−２７２５１６号公報
【特許文献２】特開２００４−２４６７３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記公報に記載された技術は、いずれも静止画像フレーム内での色変換処理を想定したものである。これらの技術を動画像コンテンツを処理する際に適用すると、動画像コンテンツではフレーム毎にオブジェクトが移動するため、彩色の混同が生じる状態と、彩色の混同が生じない状態とが動的に切り換わることが想定される。このような場合、同一オブジェクト内の領域であるにも関わらず、あるフレームでは混同色のものと混在するために色変換が行われ、別のフレームでは先のフレームに存在した混同色領域が消滅したために処理が行われないケースが生じる可能性がある。そのため、色変換処理後の動画データにおいて、同一オブジェクトの色調が非連続に変化する可能性や、一連のシーケンスの中で、同一オブジェクトにまちまちの色変換処理が施されてしまう可能性がある。このような色変換が生じると、ユーザに違和感を与え、画像の不自然さが強調されてしまう問題が生じる。
【０００５】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、動画像コンテンツに対して最適な色変換処理を施すことが可能な、新規かつ改良された色変換装置、色変換方法及びプログラムを提供することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明のある観点によれば、動画像コンテンツの画像データをフレーム毎に取得する入力部と、前記フレーム毎に画像のオブジェクトを検出するオブジェクト検出部と、検出した前記オブジェクトから彩色が混同する混同領域を抽出する混同領域抽出部と、特定のフレームから前記混同領域が抽出された場合に、前記特定のフレーム又は前記混同領域が抽出された前記オブジェクトが存在する他のフレームにおいて、少なくとも前記混同領域を含んでいた領域に色変換を施す色変換部と、を備える、色変換装置が提供される。
【０００７】
また、前記特定のフレームにおける前記色変換の処理内容を記憶する色変換処理記憶部を備え、前記色変換部は、前記他のフレームにおける前記色変換の際に、前記色変換処理記憶部に記憶された前記処理内容を使用するものであってもよい。
【０００８】
また、前記特定のフレームで前記色変換が行われたオブジェクトを記憶するオブジェクト記憶部を備え、前記色変換部は、オブジェクト記憶部に記憶された前記オブジェクトが前記他のフレームに存在する場合は、前記他のフレームにおいて前記色変換を施すものであってもよい。
【０００９】
また、前記混同領域抽出部は、前記オブジェクト検出部で検出された複数のオブジェクトのそれぞれから、オブジェクト間の彩色が相互に混同される可能性のある前記混同領域を抽出し、各オブジェクトにおける前記混同領域の大きさに基づいて、前記複数のオブジェクトの中から色変換を行うオブジェクトを抽出する混同領域所属オブジェクト抽出部を備え、前記色変換部は、前記複数のオブジェクトのうち、前記所属抽出部で抽出されたオブジェクトに色変換を行うものであってもよい。
【００１０】
また、前記色変換部は、オブジェクト間の彩色が相互に混同される可能性のある前記混同領域について、ｘｙ色度図上で同一の混同線に前記混同領域の彩色色相が存在しないように前記色変換を行うものであってもよい。
【００１１】
また、上記課題を解決するために、本発明の別の観点によれば、動画像コンテンツの画像データをフレーム毎に取得するステップと、前記フレーム毎に画像のオブジェクトを検出するステップと、検出した前記オブジェクトから彩色が混同する混同領域を抽出するステップと、特定のフレームから前記混同領域が抽出された場合に、前記特定のフレームにおいて、少なくとも前記混同領域を含む領域に色変換を施すステップと、前記混同領域が抽出された前記オブジェクトが存在する他のフレームにおいて、少なくとも前記混同領域を含んでいた領域に色変換を施すステップと、を備える、色変換方法が提供される。
【００１２】
また、上記課題を解決するために、本発明の別の観点によれば、動画像コンテンツの画像データをフレーム毎に取得する手段、前記フレーム毎に画像のオブジェクトを検出する手段、検出した前記オブジェクトから彩色が混同する混同領域を抽出する手段、特定のフレームから前記混同領域が抽出された場合に、前記特定のフレーム又は前記混同領域が抽出された前記オブジェクトが存在する他のフレームにおいて、少なくとも前記混同領域を含んでいた領域に色変換を施す手段、としてコンピュータを機能させるためのプログラムが提供される。
【発明の効果】
【００１３】
本発明によれば、動画像コンテンツに対して最適な色変換処理を施すことが可能な色変換装置、色変換方法及びプログラムを提供することが可能となる。
【図面の簡単な説明】
【００１４】
【図１】本発明の一実施形態に係る色変換装置の構成を示す模式図である。
【図２】色変換装置における処理を示すフローチャートである。
【図３】動画像のフレームにおいて、オブジェクトが順次動いていく様子を示す模式図である。
【図４】図３に示すオブジェクトＡ、オブジェクトＢの色をＣＩＥｘｙ色度図上で示す特性図である。
【図５】図３に示す各フレームにおいて、混同領域存在フラグの状態、混同領域抽出部による混同領域の抽出結果、オブジェクト検出部によるオブジェクトＡ及びオブジェクトＢの追跡結果を示す模式図である。
【発明を実施するための形態】
【００１５】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１６】
なお、説明は以下の順序で行うものとする。
１．本実施形態の背景
２．色変換装置の構成例
３．色変換処理の例
【００１７】
［１．本実施形態の背景］
ヒトの色覚には、３色型色覚（Ｃ型）のほか、これまで色盲や色弱と呼ばれてきたＰ型・Ｄ型色覚のような多様性が存在する。一方、カラー画像コンテンツの制作、モニタ・液晶ディスプレイに代表されるカラー表示デバイスの色再生では、大多数をしめるＣ型色覚保持者の視聴が前提とされているため、Ｐ型・Ｄ型色覚保有者では色差情報を見分けられないことがあった。
【００１８】
以下で色覚型の種類について述べる。ＮＰＯ（Ｎｏｎｐｒｏｆｉｔ Ｏｒｇａｎｉｚａｔｉｏｎ）団体、ＣＵＤＯ（Ｃｏｌｏｒ Ｕｎｉｖｅｒｓａｌ Ｄｅｓｉｇｎ Ｏｒｇａｎｉｚａｔｉｏｎ）によれば、色の見え方が一般と異なる人は、日本では男性の２０人に１人、女性では５００人に１人、日本全体では３００万人以上いるとされている。そして、こうした色覚に障害を持つ色弱者は、公共の場の案内図、路線図、電光掲示板、電子機器の操作画面などにおいて色を識別しにくいケースがある。例えば、赤と緑との識別が困難である色弱者にとって、当然ながら赤と緑によって塗り分けられたグラフなどは見づらくなる。ＣＵＤＯでは、網膜にある錐体のうち、どの錐体に異常があるかによって、色覚特性のタイプ（型）を次の（１）〜（６）のように分類している。（１）一般色覚者（Ｃ型）、（２）赤色に対する色弱者（Ｐ型）、（３）緑色に対する色弱者（Ｄ型）、（４）青色に対する色弱者（Ｔ型）、（５）複数色の色弱者（Ａ型）、（６）全色盲（Ｕ型）。
【００１９】
なお、１種類の錐体の異常が、必ずしも上記（２）〜（４）の色弱者に当てはまるとは限らず、ある特定の色が見えにくい場合には、色覚異常の程度によって他の色に対しても大きく影響を及ぼすことがある。そのため、例えば、（Ｐ型）に該当する色弱者でも、赤と緑との識別が困難となる場合がある。
【００２０】
このため、前述したように、Ｃ型以外の色覚保有者に画像を提示する際に、同一画像フレーム内で色相の区別がつかない領域を抽出し、色変換をして提示する方法が、主に二色型色覚型への適用例として発表されてきた。しかしながら、前述したように、動画像コンテンツを処理する際に適用すると、同一オブジェクト内の領域であるにも関わらず、あるフレームでは混同色のものと混在するために色変換が行われ、別のフレームでは先のフレームに存在した混同色領域が消滅したために処理が行われないケースが生じる可能性がある。
【００２１】
本実施形態は、動画像コンテンツにおいて、あるフレームで混同色領域が存在しない場合においても、前フレームなどの参照フレームで混同色領域が存在する場合は、色変換を施すことでユーザに違和感を与えることを抑止する。この際、ｘｙ色度図上で同一混同色線上に存在する色は色覚障害者にとって色の判断が難しいため、混同色線から離れた位置に色を修正する。
【００２２】
［２．色変換装置の構成例］
次に、図１を参照して、本発明の一実施形態に係る色変換装置１００の構成について説明する。図１に示すように、色変換装置１００は、入出力部１０２、一次記憶部１０４、ディスク記憶部１０６、演算処理部１１０、を備える。各ブロックは、バス１０８を介して接続されている。入出力部１０２は、元の画像データが入力される画像入力部、および色変換処理後の画像データを液晶表示パネルなどの表示システムへ出力する画像出力部として機能する。一次記憶部１０４は、揮発性メモリ、または不揮発性メモリから構成される記憶部である。また、ディスク記憶部１０６は、ハードディスク等から構成される記憶部である。一次記憶部１０４、及びディスク記憶部１０６は、画像データを記憶し、また色変換処理内容を記憶する。また、ディスク記憶部１０６には、演算処理部１１０で実行されるプログラムが保存される。一次記憶部１０４は、ディスク記憶部１０６に保存された処理プログラム内容を展開する。演算処理部１１０は、ＣＰＵなどの中央演算処理装置から構成され、一時記憶部１０４に展開されたプログラムの判断処理を実施し、色変換処理を行う。このため、演算処理部１１０は、プログラムの判断処理を実施することによって、オブジェクト検出部１１２、混同領域所属オブジェクト抽出部１１４、混同領域抽出部１１６、色変換部１１８として機能する。
【００２３】
［３．色変換処理の例］
次に、図２〜図４を参照して、色変換装置１００における色変換処理の例について説明する。図２は、色変換装置１００における処理を示すフローチャートである。また、図３は、動画像のフレームにおいて、オブジェクトが順次動いていく様子を示す模式図である。先ず、図２のステップＳ１０に示すように、変換対象候補となる画像フレームが色変換装置１００の入出力部１０２に入力される。ここでは、入出力部１０２に画像フレームｋ（第ｋフレーム）が入力される。
【００２４】
次のステップＳ１２では、画像フレームｋにおいて、オブジェクト検出部１１２によりオブジェクト検出と追跡が行われる。フレーム内のオブジェクトは、一般的に知られる領域抽出方法ならびに領域追跡方法によって分割され、複数フレームにわたって存在するオブジェクトは、たとえば一意に割り当てたオブジェクトＩＤにより追跡が可能なようにオブジェクト検出部１１２で処理される。
【００２５】
図３は、動画像のフレームにおいて、オブジェクトが順次動いていく様子を示す模式図である。ここでは、第０フレームから第７フレームまでの動画像を例に挙げ、このうち、図３では第０フレーム、第４フレーム、第５フレームを示す。図３に示すように、第０フレームでは、画面左上にオブジェクトＡが存在し、オブジェクトＡは、フレームの経過に伴って画面右下に向かって移動する。このため、第４フレームでは画面中央にオブジェクトＡが位置し、第５フレームでは画面右下にオブジェクトＡが位置している。また、オブジェクトＢは第４フレーム以降に出現し、その位置はほぼ不変である。
【００２６】
オブジェクト検出部１１２では、図３にその一部を示すような画像フレームの入力に従い、第０フレーム〜第６フレームではオブジェクトＡが、第４〜７フレームではオブジェクトＢが順次検出されるものとする。検出結果は、フレーム毎に各オブジェクトの領域情報がオブジェクトＡおよびオブジェクトＢの属性として一次記憶部１０４に順次保存されるとする。領域情報としては、例えば、形状を示す円、中心位置を示す座標情報、半径を示す距離情報等が挙げられる。これらの属性は、後に混同領域所属オブジェクト抽出部１１４が参照し、領域の包含関係を判断するのに用いる。
【００２７】
図２において、次のステップＳ１４では、画像フレームｋ内に色の混同が生じる混同領域が存在するか否かが判定される。混同領域が存在するか否かの判定は、演算処理部１１０の混同領域抽出部１１６にて行われる。ステップＳ１４において、混同領域が存在する場合は、ステップＳ１６へ進む。ここで、図２の例に基づいて説明すると、図３の第４フレームにおいて、ステップＳ１２でオブジェクトＡとオブジェクトＢが検出された場合に、オブジェクトＡの領域Ｓａの色（ここでは緑色とする）とオブジェクトＢの色（ここでは赤色とする）が混同するものとする。この場合、ステップＳ１４において、混同領域が存在すると判断されて、ステップＳ１６の処理に進む。
【００２８】
ステップＳ１６では、混同領域の領域面積が小さい領域について、色変換処理を施す。色変換処理は、色変換部１１８にて行われる。第４フレームの例では、オブジェクトＡの領域ＳａとオブジェクトＢの全領域とで混同が生じているが、双方の領域を比較すると、領域面積は領域Ｓａの方が小さい。このため、ステップＳ１６では、領域面積の小さいＳａに色変換が施される。このとき、演算処理部１１０の混同領域所属オブジェクト抽出部１１４では、オブジェクトＡ，Ｂの位置、大きさと、混同領域の面積に基づいて色変換を施すオブジェクトを決定する。
【００２９】
ステップＳ１６の後はステップＳ１８へ進み、処理内容保存領域にステップＳ１６の色変換操作が記憶される。ここでは、領域Ｓａに対する色変換処理が色変換装置１００の一次記憶部１０４に記憶される。ステップＳ１８の後はステップＳ２０へ進み、混同領域が他のオブジェクトの領域に含まれるか否かが判断される。第４フレームの例では、混同領域である領域Ｓａは、オブジェクトＡの領域に含まれ、オブジェクトＡには領域Ｓａの他に領域ＳＡ１と領域ＳＡ２が存在する。このため、第４フレームの場合、ステップＳ２０からステップＳ２２へ進む。なお、図３に示すように、第４フレームの領域ＳＡ１は領域ＳＡ１＿４、第４フレームの領域ＳＡ２は領域ＳＡ２＿４と表すこととする。同様に、第５フレームの領域ＳＡ１は領域ＳＡ１＿５、第５フレームの領域ＳＡ２は領域ＳＡ２＿５と表すこととする。
【００３０】
ステップＳ２２では、オブジェクトＡのうち、非Ｓａ領域である領域ＳＡ１＿４と領域ＳＡ２＿４に色変換を施す。次のステップＳ２４では、色変換装置１００が有する一次記憶部１０４の処理内容保存領域に、ステップＳ２２における色変換処理を追記憶する。ここでは、領域ＳＡ１＿４と領域ＳＡ２＿４に対する色変換処理が追記憶される。
【００３１】
ステップＳ２４の後はステップＳ２６へ進み、現在の画像フレームｋがシーケンスの最終フレームであるか否かを判断する。そして、画像フレームｋがシーケンスの最終フレームでない場合は、ステップＳ２８へ進み、ｋの値をインクリメントしてステップＳ１０以降の処理を再度行う。一方、ステップＳ２６で画像フレームｋがシーケンスの最終フレームの場合は、処理を終了する（ＥＮＤ） 。
【００３２】
また、ステップＳ１４で混同領域が存在しない場合は、ステップＳ３０へ進む。ここで、図２の第５フレームを例に挙げて説明すると、図２の第５フレームでは、第４フレームに対してオブジェクトＡが画面右下方向へ移動し、オブジェクトＡとオブジェクトＢが重なっている。そして、オブジェクトＡはオブジェクトＢの背後に重なっており、この結果、混同領域である領域ＳａがオブジェクトＢの背後に隠れている。オブジェクトＡの領域Ｓａ以外の領域については、オブジェクトＢとの間で色の混同は生じないため、第５フレームでは、オブジェクトＡとオブジェクトＢとの間で混同領域が存在しない。このため、図２の第５フレームの場合は、ステップＳ１４の判断において、ステップＳ１４からステップＳ３０へ進む。
【００３３】
ステップＳ３０では、前の参照フレーム（画像フレーム（ｋ−１））内に混同領域が存在するか否かを判定し、前の参照フレーム内に混同領域が存在する場合はステップＳ３２へ進む。図２の第５フレームの処理の場合、前の参照フレームである第４フレーム内に混同領域（領域Ｓａ）が存在するため、ステップＳ３０からステップＳ３２へ進む。
【００３４】
ステップＳ３２では、ステップＳ３０で存在するものと判定された前の参照フレームにおける混同領域に関し、当該混同領域を含むオブジェクトが、現在処理中のフレームにも存在するか否かを判定する。この際、一時記憶部１０４に記憶されたオブジェクトの属性を参照して、現フレームにオブジェクトが存在するか否かを判定する。そして、前の参照フレームの混同領域を含むオブジェクトが現在処理中のフレームにも存在する場合は、ステップＳ３４へ進む。図２の第５フレームを例に挙げると、前の参照フレームである第４フレームに存在する混同領域（Ｓａ）を含むオブジェクトＡは、第５フレーム内にも存在している。従って、図２の第５フレームの処理の場合、ステップＳ３２からステップＳ３４へ進む。
【００３５】
ステップＳ３４では、混同領域が所属するオブジェクトのうち、混同領域以外の領域（非混同領域）に色変換を施す。図２の第５フレームの場合、混同領域（Ｓａ）以外の領域ＳＡ１＿５と領域ＳＡ２＿５に色変換を施す。この際、ステップＳ２４において、第４フレームでのＳＡ１＿４と領域ＳＡ２＿４に対する色変換処理が一時記憶部１０４に記憶されているため、ステップＳ３４では、ステップＳ２２の処理内容を一時記憶部１０４から読み出して、ステップＳ２２と同様の色変換処理を行う。このように、混同領域であるオブジェクトＡの領域ＳａがオブジェクトＢの背後に隠れており、混同領域が存在しない第５フレームについても、領域ＳＡ１＿５と領域ＳＡ２＿５にステップＳ２２と同様の色変換が施される。従って、第４フレームから第５フレームに表示が切り換わった際においても、オブジェクトＡの領域ＳＡ１と領域ＳＡ２には第４フレームと第５フレームとで同様の色変換が行われるため、ユーザの眼に違和感が生じることを確実に抑止できる。
【００３６】
次のステップＳ３６では、色変換装置１００が有するメモリの処理内容保存領域に、ステップＳ３４における色変換処理を追記憶する。図２の第５フレームの処理においては、領域ＳＡ１＿５と領域ＳＡ２＿５に対する色変換処理が追記憶される。
【００３７】
ステップＳ３６の後はステップＳ２６へ進み、現在の画像フレームｋがシーケンスの最終フレームであるか否かを判断する。そして、画像フレームｋがシーケンスの最終フレームでない場合は、ステップＳ２８へ進み、ｋの値をインクリメントしてステップＳ１０以降の処理を再度行う。一方、ステップＳ２６で画像フレームｋがシーケンスの最終フレームの場合は、処理を終了する（ＥＮＤ）。
【００３８】
図４は、図３に示すオブジェクトＡ、オブジェクトＢの色をＣＩＥ（Ｃｏｍｍｉｓｓｉｏｎ Ｉｎｔｅｒｎａｔｉｏｎａｌｅ ｄ’Ｅｃｌａｉｒａｇｅ）ｘｙ色度図上で示す特性図である。図４に示す色度図は、例えば前述した特許文献２の図５と同様のものであり、波長の長い色から波長の短い色までが、反時計回りに扇形に表現されている。図４に示す色度図上に表わされるそれぞれの直線（混同線）は、C型色覚者には同一直線状の２色が隣り合ったときに違う色に感じるが、P型色覚者には同一直線状の２色が隣り合ったときに同じ色であると感じる色相彩度情報が表わされたＣＩＥｘｙ色度図上の直線である。この直線上にある色相彩度情報が隣り合う二色となると、色覚障害者は色を弁別することが困難となる。
【００３９】
図３に示す各フレームにおいて、オブジェクトＡは、明確な輪郭やコントラストによってそのオブジェクト境界が検出され、また青〜緑領域に段階的にグラデーションの施された彩色物体であるとする。図３に示すように、オブジェクトＡは、画面左上から右下に向かって青色から緑色へグラデーション状に変化する彩色であるものとする。また、オブジェクトＢは、一様な赤色の彩色であるものとする。
【００４０】
図４のＣＩＥｘｙ色度図上で具体的に示すと、オブジェクトＡは、ＣＩＥｘｙ色度図で青領域の点Ｐｂｌ（０．１４，０．０８）から緑領域のＰＳａ（０．２９，０．６０）に至る直線Ｉ−Ｉ’上にある色で、グラデーション様に彩色されているものとする。そして、図３に示す領域ＳＡ１が点Ｐｂ１に対応し、領域Ｓａ中が点ＰＳａに対応し、領域ＳＡ１から領域Ｓａに向かうにつれて、直線Ｉ−Ｉ’上で点Ｐｂ１から点ＰＳａへ彩色が変化するものとする。また、オブジェクトＢは、全体が図４に示す点Ｐｂ（０．６５，０．３３）で彩色されているとする。
【００４１】
図４に示すように、ＰＳａとＰｂとは混同線Ｘ上にあるため、オブジェクトＡのＰＳａの彩色の領域とオブジェクトＢのＰｂの彩色の領域とは、Ｐ型色覚保持者が混同してしまう可能性が高い。しかし、領域Ｓａ以外のオブジェクトＡの領域は、混同線Ｘ上には存在せず、また一般に色差の閾値として知られているマクアダム楕円の範囲外であり、オブジェクトＢと共存しても混同領域とは判定されない色相である。
【００４２】
このため、上述のように、図２のステップＳ１４では、混同領域抽出部１１６によって、第４フレームにて混同領域が検出される。ここで、フレーム番号を添えて、オブジェクトＡの混同領域をＳａ４とし、オブジェクトＢの混同領域をＳｂ４とすると、Ｓａ４はオブジェクトＡの右下の一部の領域であり、Ｓｂ４はオブジェクトＢの全体と等しい領域である。
【００４３】
第４フレームでは、混同領域の検出に伴い、Ｓａ４，Ｓｂ４に対して色変換部１１８により色変換が施される。ここでは、上述したように、領域面積の大小を条件に用いて、領域のより小さいＳａ４の側に色変換を施すことで混同を回避することとする（ステップＳ１６）。つまり、オブジェクトＢの領域Ｓｂ４に対しては色変換を行わない。
【００４４】
また、第４フレームにおいて、領域Ｓａは、グラデーションの一段階分であり、図４に示す点ＰＳａの彩色にて一様に彩色されているものとする。図４では、色変換部１１８による色変更操作の色度座標を示している。図４に示すように、色変換部１１８による色変更操作では、直線Ｉ−Ｉ’上でグラデーション様に彩色されたオブジェクトＡは、直線Ｉ−ＩＩ上でグラデーション様に彩色された色に変換される。具体的には、第４フレームで領域Ｓａに施す色変換操作変換は、図４のＣＩＥｘｙ色度図にてＰＳａからＰＳａ’にて表される色に変更する処理、つまりｙ負方向に０．１５だけ移動し、ＰＳａ’＝（０．２９，０．４５）で示される色に変更する色変更操作ｊａ０とする。この色変換操作ｊａ０は、一次記憶部１０４の処理内容保存領域に記録される。後述するステップＳ２２における近辺領域の処理と合わせて、違和感を生じることを抑制でき、領域ＳＡ１からＳａに至る範囲で滑らかに彩色が変化するため、領域Ｓａのみを色変換した場合と比較すると、色変換による違和感が生じることを抑止できる。
【００４５】
図５は、図３に示す各フレームにおいて、混同領域存在フラグの状態、混同領域抽出部１１６による混同領域の抽出結果、オブジェクト検出部１１２によるオブジェクトＡ及びオブジェクトＢの追跡結果の表を示す図である。混同領域存在フラグは、各フレームにおける混同領域抽出部１１６の判定結果を示すもので、混同領域が存在する場合は“１”となり、存在しない場合は“０”となる。図３に示すように、オブジェクトＡとオブジェクトＢに混同領域が生じるのは第４フレームのみであるため、混同領域存在フラグは、第４フレームにて“１”となり、その他のフレームでは“０”となる。
【００４６】
また、混同領域抽出部１１６による混同領域の抽出結果として、第４フレームにおいてオブジェクトＡとオブジェクトＢに混同領域が所属していることが抽出される。オブジェクト検出部１１２による追跡結果から、第０〜第６フレームでオブジェクトＡが画面内に存在しており、第４〜第７フレームでオブジェクトＢが画面内に存在していることが得られる。
【００４７】
図２のステップＳ２０では、一般に知られる領域分割方法や領域再分類・領域併合方法で構成された混同領域所属オブジェクト検出部１１４により、混同領域ＳａがオブジェクトＡに含まれ、ＳｂがオブジェクトＢに含まれることが検出される。すなわち、以下の関係が成立する。
Ａ＝｛Ｓａ，ＳＡ１，ＳＡ２｝
Ｓａ⊂Ａ
Ｓｂ≡Ｂ
【００４８】
第４フレームでは、領域Ｓａの色変換後に、オブジェクトＡの彩色の連続性を保つため、オブジェクトＡのＳａ以外の領域であるＳＡ１＿４，ＳＡ２＿４に対しても、色変換操作を施す（図２のステップＳ２２）。上述したように、オブジェクトＡは図４のＣＩＥｘｙ色度図上でグラデーションに彩色されているため、ＳＡ１＿４，ＳＡ２＿４に施す処理は、ＰｂｌとＰＳａを結ぶ直線Ｉ−Ｉ’をＰｂｌとＰＳａ’を結ぶＩ−ＩＩへ変換する一次変換にて記述される各点の色相変換処理を行うものとする。より詳細には、図４に示すように、領域ＳＡ１＿４については色をＰｂｌと同一に保ち、領域ＳＡ２＿４はＰｂｌとＰｓａ’（０．２９，０．４５）を結ぶ直線上の点である（０．２１５， ０．２６５）へ変更する。この色変換操作もまた、ステップＳ２４にて一次記憶部１０４に追記憶される。
【００４９】
上述のように、第４フレームの処理を終了すると、図２のステップＳ１０に戻り、図３の第５フレームの処理に進む。第５フレームでは、オブジェクトＡのうち領域ＳａがオブジェクトＢに隠れて消失する。このとき、図５に示すように、オブジェクト検出部１１２ではオブジェクトＡ及びオブジェクトＢが検出されるが、混同領域抽出部１１６による混同領域判定の結果は、混同領域「なし」となる。
【００５０】
このため、図２の処理フローでは、ステップＳ１４からステップＳ３０以降の処理へ進み、参照フレーム（第４フレーム）における混同領域存在フラグの状態と、オブジェクトＡ，Ｂの抽出結果に基づいて色変換を施すか否かが判定される。第５フレームの場合、参照フレームである１つ前の第４フレームでの混同領域存在フラグの状態が“１”であり、第５フレームのここまでの処理にてオブジェクトＡおよびＢとが双方検出されていることとを考慮し（ステップＳ３０，Ｓ３２）、オブジェクトＡ内のＳＡ１＿５およびＳＡ２＿５において、オブジェクトＢによって隠れていない領域に対して、第４フレームで行われた色変換操作を一時記憶部１０４の処理内容保存領域から読み出し、これを参照しながら色変換操作を行う（ステップＳ３４）。
【００５１】
以降のフレームにおいても同様に、混同領域抽出部１１６によって現フレーム内に混同領域が存在しない、と判定された場合も、参照フレームでの混同領域の抽出結果と、その混同領域を含有するオブジェクトの情報を検出する。そして、処理中の現フレームで検出されたオブジェクトの中に参照フレームで混同領域を含有していたオブジェクトと共通のものが存在すれば、そのオブジェクトの混同領域以外の領域について色変換を行なう。画像フレームｋの場合、オブジェクトＡに含まれＳａには含まれない領域ＳＡ１＿ｋ，ＳＡ２＿ｋに対して、処理内容保存領域を参照し、混同領域存在時と同様な色相変換を行う。
【００５２】
なお、上述した例では、第５フレームにて領域Ｓａが領域Ｓｂに隠れる場合を例に挙げたが、第５フレームで領域Ｓａが画面枠外にはみ出るようなオブジェクトＡの移動の結果として第５フレームで混同領域が消失する場合も同様の処理を行う。
【００５３】
また、上述した例では、説明簡便化のため、オブジェクトＡの彩色がｘｙ色度図上で直線状となるよう３段階のグラデーション彩色がされているものと仮定したが、より細かく複雑な階調の彩色や、同一オブジェクト内部で補色・対比効果を利用した彩色に対して、色変換や明度の処理を行ってもよい。この場合においても、混同領域の出現フレームに施した画像処理色彩変換処理を利用して、他フレームの色彩変換処理を行うことができる。
【００５４】
また、上述した例では、現フレームの直前の１フレーム前を参照フレームとして、混同領域を含有するオブジェクト検出結果を参照して後続フレーム内の色変換処理を行ったが、同じ動画シーケンス内をより前方までさかのぼって参照フレームとても良い。図３の例では、第０〜第３フレームには、オブジェクトＢは存在しておらず、混同領域も存在しないが、全てのフレームにおける混同領域の検出結果に基づいて第０〜第３フレームのオブジェクトＡに色変換を施しても良い。この場合、混同領域所属オブジェクト抽出とオブジェクト検出／追跡を対象シーケンス中の全ての画像フレームにについて検出した後に、これらの結果を利用して第０〜第３フレームのオブジェクトＡの領域Ｓａ＿ｋ，ＳＡ１＿ｋ，ＳＡ２＿ｋに対して、第４フレームで施した色変換操作処理を参照した色変換処理を行うことができる。
【００５５】
以上説明したように本実施形態によれば、色覚異常者が弁別しにくい配色を含む動画シーケンスにおいて、同一画像フレーム内に混同される色相が存在しない場合であっても、前後するフレームに混同の可能性のある色相が存在すれば、色変換が施される。従って、連続する動画フレームにおいて、シーケンスを通じて時間的・領域的に連続的となる色変換が適用されることとなり、非連続な色調変化で動画像視聴感覚が損なわれてしまうことを確実に抑止することが可能となる。
【００５６】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【００５７】
１００ 色変換装置
１０２ 入出力部
１１２ オブジェクト検出部
１１６ 混同領域抽出部
１１８ 色変換部
【技術分野】
【０００１】
本発明は、色変換装置、色変換方法及びプログラムに関する。
【背景技術】
【０００２】
従来、例えば下記の特許文献１〜３には、色覚保有者に画像を提示する際に、同一画像フレーム内で色相の区別がつかない領域を抽出し、色変換をして提示する方法が提案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開２００４−２７２５１６号公報
【特許文献２】特開２００４−２４６７３９号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、上記公報に記載された技術は、いずれも静止画像フレーム内での色変換処理を想定したものである。これらの技術を動画像コンテンツを処理する際に適用すると、動画像コンテンツではフレーム毎にオブジェクトが移動するため、彩色の混同が生じる状態と、彩色の混同が生じない状態とが動的に切り換わることが想定される。このような場合、同一オブジェクト内の領域であるにも関わらず、あるフレームでは混同色のものと混在するために色変換が行われ、別のフレームでは先のフレームに存在した混同色領域が消滅したために処理が行われないケースが生じる可能性がある。そのため、色変換処理後の動画データにおいて、同一オブジェクトの色調が非連続に変化する可能性や、一連のシーケンスの中で、同一オブジェクトにまちまちの色変換処理が施されてしまう可能性がある。このような色変換が生じると、ユーザに違和感を与え、画像の不自然さが強調されてしまう問題が生じる。
【０００５】
そこで、本発明は、上記問題に鑑みてなされたものであり、本発明の目的とするところは、動画像コンテンツに対して最適な色変換処理を施すことが可能な、新規かつ改良された色変換装置、色変換方法及びプログラムを提供することにある。
【課題を解決するための手段】
【０００６】
上記課題を解決するために、本発明のある観点によれば、動画像コンテンツの画像データをフレーム毎に取得する入力部と、前記フレーム毎に画像のオブジェクトを検出するオブジェクト検出部と、検出した前記オブジェクトから彩色が混同する混同領域を抽出する混同領域抽出部と、特定のフレームから前記混同領域が抽出された場合に、前記特定のフレーム又は前記混同領域が抽出された前記オブジェクトが存在する他のフレームにおいて、少なくとも前記混同領域を含んでいた領域に色変換を施す色変換部と、を備える、色変換装置が提供される。
【０００７】
また、前記特定のフレームにおける前記色変換の処理内容を記憶する色変換処理記憶部を備え、前記色変換部は、前記他のフレームにおける前記色変換の際に、前記色変換処理記憶部に記憶された前記処理内容を使用するものであってもよい。
【０００８】
また、前記特定のフレームで前記色変換が行われたオブジェクトを記憶するオブジェクト記憶部を備え、前記色変換部は、オブジェクト記憶部に記憶された前記オブジェクトが前記他のフレームに存在する場合は、前記他のフレームにおいて前記色変換を施すものであってもよい。
【０００９】
また、前記混同領域抽出部は、前記オブジェクト検出部で検出された複数のオブジェクトのそれぞれから、オブジェクト間の彩色が相互に混同される可能性のある前記混同領域を抽出し、各オブジェクトにおける前記混同領域の大きさに基づいて、前記複数のオブジェクトの中から色変換を行うオブジェクトを抽出する混同領域所属オブジェクト抽出部を備え、前記色変換部は、前記複数のオブジェクトのうち、前記所属抽出部で抽出されたオブジェクトに色変換を行うものであってもよい。
【００１０】
また、前記色変換部は、オブジェクト間の彩色が相互に混同される可能性のある前記混同領域について、ｘｙ色度図上で同一の混同線に前記混同領域の彩色色相が存在しないように前記色変換を行うものであってもよい。
【００１１】
また、上記課題を解決するために、本発明の別の観点によれば、動画像コンテンツの画像データをフレーム毎に取得するステップと、前記フレーム毎に画像のオブジェクトを検出するステップと、検出した前記オブジェクトから彩色が混同する混同領域を抽出するステップと、特定のフレームから前記混同領域が抽出された場合に、前記特定のフレームにおいて、少なくとも前記混同領域を含む領域に色変換を施すステップと、前記混同領域が抽出された前記オブジェクトが存在する他のフレームにおいて、少なくとも前記混同領域を含んでいた領域に色変換を施すステップと、を備える、色変換方法が提供される。
【００１２】
また、上記課題を解決するために、本発明の別の観点によれば、動画像コンテンツの画像データをフレーム毎に取得する手段、前記フレーム毎に画像のオブジェクトを検出する手段、検出した前記オブジェクトから彩色が混同する混同領域を抽出する手段、特定のフレームから前記混同領域が抽出された場合に、前記特定のフレーム又は前記混同領域が抽出された前記オブジェクトが存在する他のフレームにおいて、少なくとも前記混同領域を含んでいた領域に色変換を施す手段、としてコンピュータを機能させるためのプログラムが提供される。
【発明の効果】
【００１３】
本発明によれば、動画像コンテンツに対して最適な色変換処理を施すことが可能な色変換装置、色変換方法及びプログラムを提供することが可能となる。
【図面の簡単な説明】
【００１４】
【図１】本発明の一実施形態に係る色変換装置の構成を示す模式図である。
【図２】色変換装置における処理を示すフローチャートである。
【図３】動画像のフレームにおいて、オブジェクトが順次動いていく様子を示す模式図である。
【図４】図３に示すオブジェクトＡ、オブジェクトＢの色をＣＩＥｘｙ色度図上で示す特性図である。
【図５】図３に示す各フレームにおいて、混同領域存在フラグの状態、混同領域抽出部による混同領域の抽出結果、オブジェクト検出部によるオブジェクトＡ及びオブジェクトＢの追跡結果を示す模式図である。
【発明を実施するための形態】
【００１５】
以下に添付図面を参照しながら、本発明の好適な実施の形態について詳細に説明する。なお、本明細書及び図面において、実質的に同一の機能構成を有する構成要素については、同一の符号を付することにより重複説明を省略する。
【００１６】
なお、説明は以下の順序で行うものとする。
１．本実施形態の背景
２．色変換装置の構成例
３．色変換処理の例
【００１７】
［１．本実施形態の背景］
ヒトの色覚には、３色型色覚（Ｃ型）のほか、これまで色盲や色弱と呼ばれてきたＰ型・Ｄ型色覚のような多様性が存在する。一方、カラー画像コンテンツの制作、モニタ・液晶ディスプレイに代表されるカラー表示デバイスの色再生では、大多数をしめるＣ型色覚保持者の視聴が前提とされているため、Ｐ型・Ｄ型色覚保有者では色差情報を見分けられないことがあった。
【００１８】
以下で色覚型の種類について述べる。ＮＰＯ（Ｎｏｎｐｒｏｆｉｔ Ｏｒｇａｎｉｚａｔｉｏｎ）団体、ＣＵＤＯ（Ｃｏｌｏｒ Ｕｎｉｖｅｒｓａｌ Ｄｅｓｉｇｎ Ｏｒｇａｎｉｚａｔｉｏｎ）によれば、色の見え方が一般と異なる人は、日本では男性の２０人に１人、女性では５００人に１人、日本全体では３００万人以上いるとされている。そして、こうした色覚に障害を持つ色弱者は、公共の場の案内図、路線図、電光掲示板、電子機器の操作画面などにおいて色を識別しにくいケースがある。例えば、赤と緑との識別が困難である色弱者にとって、当然ながら赤と緑によって塗り分けられたグラフなどは見づらくなる。ＣＵＤＯでは、網膜にある錐体のうち、どの錐体に異常があるかによって、色覚特性のタイプ（型）を次の（１）〜（６）のように分類している。（１）一般色覚者（Ｃ型）、（２）赤色に対する色弱者（Ｐ型）、（３）緑色に対する色弱者（Ｄ型）、（４）青色に対する色弱者（Ｔ型）、（５）複数色の色弱者（Ａ型）、（６）全色盲（Ｕ型）。
【００１９】
なお、１種類の錐体の異常が、必ずしも上記（２）〜（４）の色弱者に当てはまるとは限らず、ある特定の色が見えにくい場合には、色覚異常の程度によって他の色に対しても大きく影響を及ぼすことがある。そのため、例えば、（Ｐ型）に該当する色弱者でも、赤と緑との識別が困難となる場合がある。
【００２０】
このため、前述したように、Ｃ型以外の色覚保有者に画像を提示する際に、同一画像フレーム内で色相の区別がつかない領域を抽出し、色変換をして提示する方法が、主に二色型色覚型への適用例として発表されてきた。しかしながら、前述したように、動画像コンテンツを処理する際に適用すると、同一オブジェクト内の領域であるにも関わらず、あるフレームでは混同色のものと混在するために色変換が行われ、別のフレームでは先のフレームに存在した混同色領域が消滅したために処理が行われないケースが生じる可能性がある。
【００２１】
本実施形態は、動画像コンテンツにおいて、あるフレームで混同色領域が存在しない場合においても、前フレームなどの参照フレームで混同色領域が存在する場合は、色変換を施すことでユーザに違和感を与えることを抑止する。この際、ｘｙ色度図上で同一混同色線上に存在する色は色覚障害者にとって色の判断が難しいため、混同色線から離れた位置に色を修正する。
【００２２】
［２．色変換装置の構成例］
次に、図１を参照して、本発明の一実施形態に係る色変換装置１００の構成について説明する。図１に示すように、色変換装置１００は、入出力部１０２、一次記憶部１０４、ディスク記憶部１０６、演算処理部１１０、を備える。各ブロックは、バス１０８を介して接続されている。入出力部１０２は、元の画像データが入力される画像入力部、および色変換処理後の画像データを液晶表示パネルなどの表示システムへ出力する画像出力部として機能する。一次記憶部１０４は、揮発性メモリ、または不揮発性メモリから構成される記憶部である。また、ディスク記憶部１０６は、ハードディスク等から構成される記憶部である。一次記憶部１０４、及びディスク記憶部１０６は、画像データを記憶し、また色変換処理内容を記憶する。また、ディスク記憶部１０６には、演算処理部１１０で実行されるプログラムが保存される。一次記憶部１０４は、ディスク記憶部１０６に保存された処理プログラム内容を展開する。演算処理部１１０は、ＣＰＵなどの中央演算処理装置から構成され、一時記憶部１０４に展開されたプログラムの判断処理を実施し、色変換処理を行う。このため、演算処理部１１０は、プログラムの判断処理を実施することによって、オブジェクト検出部１１２、混同領域所属オブジェクト抽出部１１４、混同領域抽出部１１６、色変換部１１８として機能する。
【００２３】
［３．色変換処理の例］
次に、図２〜図４を参照して、色変換装置１００における色変換処理の例について説明する。図２は、色変換装置１００における処理を示すフローチャートである。また、図３は、動画像のフレームにおいて、オブジェクトが順次動いていく様子を示す模式図である。先ず、図２のステップＳ１０に示すように、変換対象候補となる画像フレームが色変換装置１００の入出力部１０２に入力される。ここでは、入出力部１０２に画像フレームｋ（第ｋフレーム）が入力される。
【００２４】
次のステップＳ１２では、画像フレームｋにおいて、オブジェクト検出部１１２によりオブジェクト検出と追跡が行われる。フレーム内のオブジェクトは、一般的に知られる領域抽出方法ならびに領域追跡方法によって分割され、複数フレームにわたって存在するオブジェクトは、たとえば一意に割り当てたオブジェクトＩＤにより追跡が可能なようにオブジェクト検出部１１２で処理される。
【００２５】
図３は、動画像のフレームにおいて、オブジェクトが順次動いていく様子を示す模式図である。ここでは、第０フレームから第７フレームまでの動画像を例に挙げ、このうち、図３では第０フレーム、第４フレーム、第５フレームを示す。図３に示すように、第０フレームでは、画面左上にオブジェクトＡが存在し、オブジェクトＡは、フレームの経過に伴って画面右下に向かって移動する。このため、第４フレームでは画面中央にオブジェクトＡが位置し、第５フレームでは画面右下にオブジェクトＡが位置している。また、オブジェクトＢは第４フレーム以降に出現し、その位置はほぼ不変である。
【００２６】
オブジェクト検出部１１２では、図３にその一部を示すような画像フレームの入力に従い、第０フレーム〜第６フレームではオブジェクトＡが、第４〜７フレームではオブジェクトＢが順次検出されるものとする。検出結果は、フレーム毎に各オブジェクトの領域情報がオブジェクトＡおよびオブジェクトＢの属性として一次記憶部１０４に順次保存されるとする。領域情報としては、例えば、形状を示す円、中心位置を示す座標情報、半径を示す距離情報等が挙げられる。これらの属性は、後に混同領域所属オブジェクト抽出部１１４が参照し、領域の包含関係を判断するのに用いる。
【００２７】
図２において、次のステップＳ１４では、画像フレームｋ内に色の混同が生じる混同領域が存在するか否かが判定される。混同領域が存在するか否かの判定は、演算処理部１１０の混同領域抽出部１１６にて行われる。ステップＳ１４において、混同領域が存在する場合は、ステップＳ１６へ進む。ここで、図２の例に基づいて説明すると、図３の第４フレームにおいて、ステップＳ１２でオブジェクトＡとオブジェクトＢが検出された場合に、オブジェクトＡの領域Ｓａの色（ここでは緑色とする）とオブジェクトＢの色（ここでは赤色とする）が混同するものとする。この場合、ステップＳ１４において、混同領域が存在すると判断されて、ステップＳ１６の処理に進む。
【００２８】
ステップＳ１６では、混同領域の領域面積が小さい領域について、色変換処理を施す。色変換処理は、色変換部１１８にて行われる。第４フレームの例では、オブジェクトＡの領域ＳａとオブジェクトＢの全領域とで混同が生じているが、双方の領域を比較すると、領域面積は領域Ｓａの方が小さい。このため、ステップＳ１６では、領域面積の小さいＳａに色変換が施される。このとき、演算処理部１１０の混同領域所属オブジェクト抽出部１１４では、オブジェクトＡ，Ｂの位置、大きさと、混同領域の面積に基づいて色変換を施すオブジェクトを決定する。
【００２９】
ステップＳ１６の後はステップＳ１８へ進み、処理内容保存領域にステップＳ１６の色変換操作が記憶される。ここでは、領域Ｓａに対する色変換処理が色変換装置１００の一次記憶部１０４に記憶される。ステップＳ１８の後はステップＳ２０へ進み、混同領域が他のオブジェクトの領域に含まれるか否かが判断される。第４フレームの例では、混同領域である領域Ｓａは、オブジェクトＡの領域に含まれ、オブジェクトＡには領域Ｓａの他に領域ＳＡ１と領域ＳＡ２が存在する。このため、第４フレームの場合、ステップＳ２０からステップＳ２２へ進む。なお、図３に示すように、第４フレームの領域ＳＡ１は領域ＳＡ１＿４、第４フレームの領域ＳＡ２は領域ＳＡ２＿４と表すこととする。同様に、第５フレームの領域ＳＡ１は領域ＳＡ１＿５、第５フレームの領域ＳＡ２は領域ＳＡ２＿５と表すこととする。
【００３０】
ステップＳ２２では、オブジェクトＡのうち、非Ｓａ領域である領域ＳＡ１＿４と領域ＳＡ２＿４に色変換を施す。次のステップＳ２４では、色変換装置１００が有する一次記憶部１０４の処理内容保存領域に、ステップＳ２２における色変換処理を追記憶する。ここでは、領域ＳＡ１＿４と領域ＳＡ２＿４に対する色変換処理が追記憶される。
【００３１】
ステップＳ２４の後はステップＳ２６へ進み、現在の画像フレームｋがシーケンスの最終フレームであるか否かを判断する。そして、画像フレームｋがシーケンスの最終フレームでない場合は、ステップＳ２８へ進み、ｋの値をインクリメントしてステップＳ１０以降の処理を再度行う。一方、ステップＳ２６で画像フレームｋがシーケンスの最終フレームの場合は、処理を終了する（ＥＮＤ） 。
【００３２】
また、ステップＳ１４で混同領域が存在しない場合は、ステップＳ３０へ進む。ここで、図２の第５フレームを例に挙げて説明すると、図２の第５フレームでは、第４フレームに対してオブジェクトＡが画面右下方向へ移動し、オブジェクトＡとオブジェクトＢが重なっている。そして、オブジェクトＡはオブジェクトＢの背後に重なっており、この結果、混同領域である領域ＳａがオブジェクトＢの背後に隠れている。オブジェクトＡの領域Ｓａ以外の領域については、オブジェクトＢとの間で色の混同は生じないため、第５フレームでは、オブジェクトＡとオブジェクトＢとの間で混同領域が存在しない。このため、図２の第５フレームの場合は、ステップＳ１４の判断において、ステップＳ１４からステップＳ３０へ進む。
【００３３】
ステップＳ３０では、前の参照フレーム（画像フレーム（ｋ−１））内に混同領域が存在するか否かを判定し、前の参照フレーム内に混同領域が存在する場合はステップＳ３２へ進む。図２の第５フレームの処理の場合、前の参照フレームである第４フレーム内に混同領域（領域Ｓａ）が存在するため、ステップＳ３０からステップＳ３２へ進む。
【００３４】
ステップＳ３２では、ステップＳ３０で存在するものと判定された前の参照フレームにおける混同領域に関し、当該混同領域を含むオブジェクトが、現在処理中のフレームにも存在するか否かを判定する。この際、一時記憶部１０４に記憶されたオブジェクトの属性を参照して、現フレームにオブジェクトが存在するか否かを判定する。そして、前の参照フレームの混同領域を含むオブジェクトが現在処理中のフレームにも存在する場合は、ステップＳ３４へ進む。図２の第５フレームを例に挙げると、前の参照フレームである第４フレームに存在する混同領域（Ｓａ）を含むオブジェクトＡは、第５フレーム内にも存在している。従って、図２の第５フレームの処理の場合、ステップＳ３２からステップＳ３４へ進む。
【００３５】
ステップＳ３４では、混同領域が所属するオブジェクトのうち、混同領域以外の領域（非混同領域）に色変換を施す。図２の第５フレームの場合、混同領域（Ｓａ）以外の領域ＳＡ１＿５と領域ＳＡ２＿５に色変換を施す。この際、ステップＳ２４において、第４フレームでのＳＡ１＿４と領域ＳＡ２＿４に対する色変換処理が一時記憶部１０４に記憶されているため、ステップＳ３４では、ステップＳ２２の処理内容を一時記憶部１０４から読み出して、ステップＳ２２と同様の色変換処理を行う。このように、混同領域であるオブジェクトＡの領域ＳａがオブジェクトＢの背後に隠れており、混同領域が存在しない第５フレームについても、領域ＳＡ１＿５と領域ＳＡ２＿５にステップＳ２２と同様の色変換が施される。従って、第４フレームから第５フレームに表示が切り換わった際においても、オブジェクトＡの領域ＳＡ１と領域ＳＡ２には第４フレームと第５フレームとで同様の色変換が行われるため、ユーザの眼に違和感が生じることを確実に抑止できる。
【００３６】
次のステップＳ３６では、色変換装置１００が有するメモリの処理内容保存領域に、ステップＳ３４における色変換処理を追記憶する。図２の第５フレームの処理においては、領域ＳＡ１＿５と領域ＳＡ２＿５に対する色変換処理が追記憶される。
【００３７】
ステップＳ３６の後はステップＳ２６へ進み、現在の画像フレームｋがシーケンスの最終フレームであるか否かを判断する。そして、画像フレームｋがシーケンスの最終フレームでない場合は、ステップＳ２８へ進み、ｋの値をインクリメントしてステップＳ１０以降の処理を再度行う。一方、ステップＳ２６で画像フレームｋがシーケンスの最終フレームの場合は、処理を終了する（ＥＮＤ）。
【００３８】
図４は、図３に示すオブジェクトＡ、オブジェクトＢの色をＣＩＥ（Ｃｏｍｍｉｓｓｉｏｎ Ｉｎｔｅｒｎａｔｉｏｎａｌｅ ｄ’Ｅｃｌａｉｒａｇｅ）ｘｙ色度図上で示す特性図である。図４に示す色度図は、例えば前述した特許文献２の図５と同様のものであり、波長の長い色から波長の短い色までが、反時計回りに扇形に表現されている。図４に示す色度図上に表わされるそれぞれの直線（混同線）は、C型色覚者には同一直線状の２色が隣り合ったときに違う色に感じるが、P型色覚者には同一直線状の２色が隣り合ったときに同じ色であると感じる色相彩度情報が表わされたＣＩＥｘｙ色度図上の直線である。この直線上にある色相彩度情報が隣り合う二色となると、色覚障害者は色を弁別することが困難となる。
【００３９】
図３に示す各フレームにおいて、オブジェクトＡは、明確な輪郭やコントラストによってそのオブジェクト境界が検出され、また青〜緑領域に段階的にグラデーションの施された彩色物体であるとする。図３に示すように、オブジェクトＡは、画面左上から右下に向かって青色から緑色へグラデーション状に変化する彩色であるものとする。また、オブジェクトＢは、一様な赤色の彩色であるものとする。
【００４０】
図４のＣＩＥｘｙ色度図上で具体的に示すと、オブジェクトＡは、ＣＩＥｘｙ色度図で青領域の点Ｐｂｌ（０．１４，０．０８）から緑領域のＰＳａ（０．２９，０．６０）に至る直線Ｉ−Ｉ’上にある色で、グラデーション様に彩色されているものとする。そして、図３に示す領域ＳＡ１が点Ｐｂ１に対応し、領域Ｓａ中が点ＰＳａに対応し、領域ＳＡ１から領域Ｓａに向かうにつれて、直線Ｉ−Ｉ’上で点Ｐｂ１から点ＰＳａへ彩色が変化するものとする。また、オブジェクトＢは、全体が図４に示す点Ｐｂ（０．６５，０．３３）で彩色されているとする。
【００４１】
図４に示すように、ＰＳａとＰｂとは混同線Ｘ上にあるため、オブジェクトＡのＰＳａの彩色の領域とオブジェクトＢのＰｂの彩色の領域とは、Ｐ型色覚保持者が混同してしまう可能性が高い。しかし、領域Ｓａ以外のオブジェクトＡの領域は、混同線Ｘ上には存在せず、また一般に色差の閾値として知られているマクアダム楕円の範囲外であり、オブジェクトＢと共存しても混同領域とは判定されない色相である。
【００４２】
このため、上述のように、図２のステップＳ１４では、混同領域抽出部１１６によって、第４フレームにて混同領域が検出される。ここで、フレーム番号を添えて、オブジェクトＡの混同領域をＳａ４とし、オブジェクトＢの混同領域をＳｂ４とすると、Ｓａ４はオブジェクトＡの右下の一部の領域であり、Ｓｂ４はオブジェクトＢの全体と等しい領域である。
【００４３】
第４フレームでは、混同領域の検出に伴い、Ｓａ４，Ｓｂ４に対して色変換部１１８により色変換が施される。ここでは、上述したように、領域面積の大小を条件に用いて、領域のより小さいＳａ４の側に色変換を施すことで混同を回避することとする（ステップＳ１６）。つまり、オブジェクトＢの領域Ｓｂ４に対しては色変換を行わない。
【００４４】
また、第４フレームにおいて、領域Ｓａは、グラデーションの一段階分であり、図４に示す点ＰＳａの彩色にて一様に彩色されているものとする。図４では、色変換部１１８による色変更操作の色度座標を示している。図４に示すように、色変換部１１８による色変更操作では、直線Ｉ−Ｉ’上でグラデーション様に彩色されたオブジェクトＡは、直線Ｉ−ＩＩ上でグラデーション様に彩色された色に変換される。具体的には、第４フレームで領域Ｓａに施す色変換操作変換は、図４のＣＩＥｘｙ色度図にてＰＳａからＰＳａ’にて表される色に変更する処理、つまりｙ負方向に０．１５だけ移動し、ＰＳａ’＝（０．２９，０．４５）で示される色に変更する色変更操作ｊａ０とする。この色変換操作ｊａ０は、一次記憶部１０４の処理内容保存領域に記録される。後述するステップＳ２２における近辺領域の処理と合わせて、違和感を生じることを抑制でき、領域ＳＡ１からＳａに至る範囲で滑らかに彩色が変化するため、領域Ｓａのみを色変換した場合と比較すると、色変換による違和感が生じることを抑止できる。
【００４５】
図５は、図３に示す各フレームにおいて、混同領域存在フラグの状態、混同領域抽出部１１６による混同領域の抽出結果、オブジェクト検出部１１２によるオブジェクトＡ及びオブジェクトＢの追跡結果の表を示す図である。混同領域存在フラグは、各フレームにおける混同領域抽出部１１６の判定結果を示すもので、混同領域が存在する場合は“１”となり、存在しない場合は“０”となる。図３に示すように、オブジェクトＡとオブジェクトＢに混同領域が生じるのは第４フレームのみであるため、混同領域存在フラグは、第４フレームにて“１”となり、その他のフレームでは“０”となる。
【００４６】
また、混同領域抽出部１１６による混同領域の抽出結果として、第４フレームにおいてオブジェクトＡとオブジェクトＢに混同領域が所属していることが抽出される。オブジェクト検出部１１２による追跡結果から、第０〜第６フレームでオブジェクトＡが画面内に存在しており、第４〜第７フレームでオブジェクトＢが画面内に存在していることが得られる。
【００４７】
図２のステップＳ２０では、一般に知られる領域分割方法や領域再分類・領域併合方法で構成された混同領域所属オブジェクト検出部１１４により、混同領域ＳａがオブジェクトＡに含まれ、ＳｂがオブジェクトＢに含まれることが検出される。すなわち、以下の関係が成立する。
Ａ＝｛Ｓａ，ＳＡ１，ＳＡ２｝
Ｓａ⊂Ａ
Ｓｂ≡Ｂ
【００４８】
第４フレームでは、領域Ｓａの色変換後に、オブジェクトＡの彩色の連続性を保つため、オブジェクトＡのＳａ以外の領域であるＳＡ１＿４，ＳＡ２＿４に対しても、色変換操作を施す（図２のステップＳ２２）。上述したように、オブジェクトＡは図４のＣＩＥｘｙ色度図上でグラデーションに彩色されているため、ＳＡ１＿４，ＳＡ２＿４に施す処理は、ＰｂｌとＰＳａを結ぶ直線Ｉ−Ｉ’をＰｂｌとＰＳａ’を結ぶＩ−ＩＩへ変換する一次変換にて記述される各点の色相変換処理を行うものとする。より詳細には、図４に示すように、領域ＳＡ１＿４については色をＰｂｌと同一に保ち、領域ＳＡ２＿４はＰｂｌとＰｓａ’（０．２９，０．４５）を結ぶ直線上の点である（０．２１５， ０．２６５）へ変更する。この色変換操作もまた、ステップＳ２４にて一次記憶部１０４に追記憶される。
【００４９】
上述のように、第４フレームの処理を終了すると、図２のステップＳ１０に戻り、図３の第５フレームの処理に進む。第５フレームでは、オブジェクトＡのうち領域ＳａがオブジェクトＢに隠れて消失する。このとき、図５に示すように、オブジェクト検出部１１２ではオブジェクトＡ及びオブジェクトＢが検出されるが、混同領域抽出部１１６による混同領域判定の結果は、混同領域「なし」となる。
【００５０】
このため、図２の処理フローでは、ステップＳ１４からステップＳ３０以降の処理へ進み、参照フレーム（第４フレーム）における混同領域存在フラグの状態と、オブジェクトＡ，Ｂの抽出結果に基づいて色変換を施すか否かが判定される。第５フレームの場合、参照フレームである１つ前の第４フレームでの混同領域存在フラグの状態が“１”であり、第５フレームのここまでの処理にてオブジェクトＡおよびＢとが双方検出されていることとを考慮し（ステップＳ３０，Ｓ３２）、オブジェクトＡ内のＳＡ１＿５およびＳＡ２＿５において、オブジェクトＢによって隠れていない領域に対して、第４フレームで行われた色変換操作を一時記憶部１０４の処理内容保存領域から読み出し、これを参照しながら色変換操作を行う（ステップＳ３４）。
【００５１】
以降のフレームにおいても同様に、混同領域抽出部１１６によって現フレーム内に混同領域が存在しない、と判定された場合も、参照フレームでの混同領域の抽出結果と、その混同領域を含有するオブジェクトの情報を検出する。そして、処理中の現フレームで検出されたオブジェクトの中に参照フレームで混同領域を含有していたオブジェクトと共通のものが存在すれば、そのオブジェクトの混同領域以外の領域について色変換を行なう。画像フレームｋの場合、オブジェクトＡに含まれＳａには含まれない領域ＳＡ１＿ｋ，ＳＡ２＿ｋに対して、処理内容保存領域を参照し、混同領域存在時と同様な色相変換を行う。
【００５２】
なお、上述した例では、第５フレームにて領域Ｓａが領域Ｓｂに隠れる場合を例に挙げたが、第５フレームで領域Ｓａが画面枠外にはみ出るようなオブジェクトＡの移動の結果として第５フレームで混同領域が消失する場合も同様の処理を行う。
【００５３】
また、上述した例では、説明簡便化のため、オブジェクトＡの彩色がｘｙ色度図上で直線状となるよう３段階のグラデーション彩色がされているものと仮定したが、より細かく複雑な階調の彩色や、同一オブジェクト内部で補色・対比効果を利用した彩色に対して、色変換や明度の処理を行ってもよい。この場合においても、混同領域の出現フレームに施した画像処理色彩変換処理を利用して、他フレームの色彩変換処理を行うことができる。
【００５４】
また、上述した例では、現フレームの直前の１フレーム前を参照フレームとして、混同領域を含有するオブジェクト検出結果を参照して後続フレーム内の色変換処理を行ったが、同じ動画シーケンス内をより前方までさかのぼって参照フレームとても良い。図３の例では、第０〜第３フレームには、オブジェクトＢは存在しておらず、混同領域も存在しないが、全てのフレームにおける混同領域の検出結果に基づいて第０〜第３フレームのオブジェクトＡに色変換を施しても良い。この場合、混同領域所属オブジェクト抽出とオブジェクト検出／追跡を対象シーケンス中の全ての画像フレームにについて検出した後に、これらの結果を利用して第０〜第３フレームのオブジェクトＡの領域Ｓａ＿ｋ，ＳＡ１＿ｋ，ＳＡ２＿ｋに対して、第４フレームで施した色変換操作処理を参照した色変換処理を行うことができる。
【００５５】
以上説明したように本実施形態によれば、色覚異常者が弁別しにくい配色を含む動画シーケンスにおいて、同一画像フレーム内に混同される色相が存在しない場合であっても、前後するフレームに混同の可能性のある色相が存在すれば、色変換が施される。従って、連続する動画フレームにおいて、シーケンスを通じて時間的・領域的に連続的となる色変換が適用されることとなり、非連続な色調変化で動画像視聴感覚が損なわれてしまうことを確実に抑止することが可能となる。
【００５６】
以上、添付図面を参照しながら本発明の好適な実施形態について詳細に説明したが、本発明はかかる例に限定されない。本発明の属する技術の分野における通常の知識を有する者であれば、特許請求の範囲に記載された技術的思想の範疇内において、各種の変更例または修正例に想到し得ることは明らかであり、これらについても、当然に本発明の技術的範囲に属するものと了解される。
【符号の説明】
【００５７】
１００ 色変換装置
１０２ 入出力部
１１２ オブジェクト検出部
１１６ 混同領域抽出部
１１８ 色変換部
【特許請求の範囲】
【請求項１】
動画像コンテンツの画像データをフレーム毎に取得する入力部と、
前記フレーム毎に画像のオブジェクトを検出するオブジェクト検出部と、
検出した前記オブジェクトから彩色が混同する混同領域を抽出する混同領域抽出部と、
特定のフレームから前記混同領域が抽出された場合に、前記特定のフレーム又は前記混同領域が抽出された前記オブジェクトが存在する他のフレームにおいて、少なくとも前記混同領域を含んでいた領域に色変換を施す色変換部と、
を備える、色変換装置。
【請求項２】
前記特定のフレームにおける前記色変換の処理内容を記憶する色変換処理記憶部を備え、
前記色変換部は、前記他のフレームにおける前記色変換の際に、前記色変換処理記憶部に記憶された前記処理内容を使用する、請求項１に記載の色変換装置。
【請求項３】
前記特定のフレームで前記色変換が行われたオブジェクトを記憶するオブジェクト記憶部を備え、
前記色変換部は、オブジェクト記憶部に記憶された前記オブジェクトが前記他のフレームに存在する場合は、前記他のフレームにおいて前記色変換を施す、請求項１に記載の色変換装置。
【請求項４】
前記混同領域抽出部は、前記オブジェクト検出部で検出された複数のオブジェクトのそれぞれから、彩色が相互に混同する前記混同領域を抽出し、
各オブジェクトにおける前記混同領域の大きさに基づいて、前記複数のオブジェクトの中から色変換を行うオブジェクトを抽出する混同領域所属オブジェクト抽出部を備え、
前記色変換部は、前記複数のオブジェクトのうち、前記所属抽出部で抽出されたオブジェクトに色変換を行う、請求項１に記載の色変換装置。
【請求項５】
前記色変換部は、オブジェクト間で彩色が相互に混同する前記混同領域について、ｘｙ色度図上で同一の混同線に前記混同領域が存在しないように前記色変換を行う、請求項１に記載の色変換装置。
【請求項６】
動画像コンテンツの画像データをフレーム毎に取得するステップと、
前記フレーム毎に画像のオブジェクトを検出するステップと、
検出した前記オブジェクトから彩色が混同する混同領域を抽出するステップと、
特定のフレームから前記混同領域が抽出された場合に、前記特定のフレームにおいて、少なくとも前記混同領域を含む領域に色変換を施すステップと、
前記混同領域が抽出された前記オブジェクトが存在する他のフレームにおいて、少なくとも前記混同領域を含んでいた領域に色変換を施すステップと、
を備える、色変換方法。
【請求項７】
動画像コンテンツの画像データをフレーム毎に取得する手段、
前記フレーム毎に画像のオブジェクトを検出する手段、
検出した前記オブジェクトから彩色が混同する混同領域を抽出する手段、
特定のフレームから前記混同領域が抽出された場合に、前記特定のフレーム又は前記混同領域が抽出された前記オブジェクトが存在する他のフレームにおいて、少なくとも前記混同領域を含んでいた領域に色変換を施す手段、
としてコンピュータを機能させるためのプログラム。
【請求項１】
動画像コンテンツの画像データをフレーム毎に取得する入力部と、
前記フレーム毎に画像のオブジェクトを検出するオブジェクト検出部と、
検出した前記オブジェクトから彩色が混同する混同領域を抽出する混同領域抽出部と、
特定のフレームから前記混同領域が抽出された場合に、前記特定のフレーム又は前記混同領域が抽出された前記オブジェクトが存在する他のフレームにおいて、少なくとも前記混同領域を含んでいた領域に色変換を施す色変換部と、
を備える、色変換装置。
【請求項２】
前記特定のフレームにおける前記色変換の処理内容を記憶する色変換処理記憶部を備え、
前記色変換部は、前記他のフレームにおける前記色変換の際に、前記色変換処理記憶部に記憶された前記処理内容を使用する、請求項１に記載の色変換装置。
【請求項３】
前記特定のフレームで前記色変換が行われたオブジェクトを記憶するオブジェクト記憶部を備え、
前記色変換部は、オブジェクト記憶部に記憶された前記オブジェクトが前記他のフレームに存在する場合は、前記他のフレームにおいて前記色変換を施す、請求項１に記載の色変換装置。
【請求項４】
前記混同領域抽出部は、前記オブジェクト検出部で検出された複数のオブジェクトのそれぞれから、彩色が相互に混同する前記混同領域を抽出し、
各オブジェクトにおける前記混同領域の大きさに基づいて、前記複数のオブジェクトの中から色変換を行うオブジェクトを抽出する混同領域所属オブジェクト抽出部を備え、
前記色変換部は、前記複数のオブジェクトのうち、前記所属抽出部で抽出されたオブジェクトに色変換を行う、請求項１に記載の色変換装置。
【請求項５】
前記色変換部は、オブジェクト間で彩色が相互に混同する前記混同領域について、ｘｙ色度図上で同一の混同線に前記混同領域が存在しないように前記色変換を行う、請求項１に記載の色変換装置。
【請求項６】
動画像コンテンツの画像データをフレーム毎に取得するステップと、
前記フレーム毎に画像のオブジェクトを検出するステップと、
検出した前記オブジェクトから彩色が混同する混同領域を抽出するステップと、
特定のフレームから前記混同領域が抽出された場合に、前記特定のフレームにおいて、少なくとも前記混同領域を含む領域に色変換を施すステップと、
前記混同領域が抽出された前記オブジェクトが存在する他のフレームにおいて、少なくとも前記混同領域を含んでいた領域に色変換を施すステップと、
を備える、色変換方法。
【請求項７】
動画像コンテンツの画像データをフレーム毎に取得する手段、
前記フレーム毎に画像のオブジェクトを検出する手段、
検出した前記オブジェクトから彩色が混同する混同領域を抽出する手段、
特定のフレームから前記混同領域が抽出された場合に、前記特定のフレーム又は前記混同領域が抽出された前記オブジェクトが存在する他のフレームにおいて、少なくとも前記混同領域を含んでいた領域に色変換を施す手段、
としてコンピュータを機能させるためのプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図２】
【図３】
【図４】
【図５】
【公開番号】特開２０１１−２５０１６７（Ｐ２０１１−２５０１６７Ａ）
【公開日】平成２３年１２月８日（２０１１．１２．８）
【国際特許分類】
【出願番号】特願２０１０−１２１６７０（Ｐ２０１０−１２１６７０）
【出願日】平成２２年５月２７日（２０１０．５．２７）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
【公開日】平成２３年１２月８日（２０１１．１２．８）
【国際特許分類】
【出願日】平成２２年５月２７日（２０１０．５．２７）
【出願人】（０００００２１８５）ソニー株式会社 (34,172)
【Ｆターム（参考）】
[ Back to top ]