看板及び画像判定方法
【課題】 画像判定精度を高めることができる撮影対象としての看板を提供する。
【解決手段】 看板１は、表示用シート２が装着されるシート装着部３と、シート装着部３の周囲を囲む枠体４とを有する。表示用シート２及び／または枠体４の表面上の予め定めた位置に、既知の分光反射率を有する無彩色で表示された基準マーク１７〜２０を付す。
【解決手段】 看板１は、表示用シート２が装着されるシート装着部３と、シート装着部３の周囲を囲む枠体４とを有する。表示用シート２及び／または枠体４の表面上の予め定めた位置に、既知の分光反射率を有する無彩色で表示された基準マーク１７〜２０を付す。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、デジタルカメラで撮影したデジタル撮影画像データから、シート装着部に装着されている表示シートの種別を判別することが容易な看板及び画像判定方法に関するものである。
【背景技術】
【０００２】
特開２００５−１６５６６２号公報（特許文献１）及び特開２００５−２４２５９２号公報（特許文献２）等には、携帯電話に搭載されているデジタルカメラで撮影したデジタル撮影画像データから、撮影対象を判別する技術が開示されている。これらの公知技術では、撮影画像データから特徴量を抽出し、照明条件の変化があっても、撮影対象を判別することができるようにするための、複雑な演算を行っている。
【特許文献１】特開２００５−１６５６６２号公報 図１及び要約
【特許文献２】特開２００５−２４２５９２号公報 図１
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら従来の技術では、撮影時の実照明の輝度と色みを考慮して、撮影対象を判別することを行っていないため、判定精度を高めるためには、複雑な演算を行う必要があり、また予め用意しておく判別用基準画像データの量が多くなる等の問題があった。特に撮影対象が野外に設置される看板にあっては、看板に様々な輝度と色みの実照明が当たるため、同じ看板を撮影しても、異なる看板であるとの誤った判定が出ることがあり、判定精度を高めることに限界があった。
【０００４】
本発明の目的は、画像判定精度を高めることができる撮影対象としての看板を提供することにある。
【０００５】
本発明の他の目的は、撮影時の実照明の輝度と色みを考慮した画像判定を行うことが容易な看板を提供することにある。
【０００６】
本発明の別の目的は、撮影時の実照明の輝度と色みを考慮して、撮影対象としての看板に装着された表示用シートの種別を、従来よりも簡単に且つ高い精度で判定することができる画像判定方法を提供することにある。
【課題を解決するための手段】
【０００７】
本発明は、表示用シートが装着されるシート装着部と、シート装着部の周囲を囲む枠体とを有する看板を対象とする。表示用シートは、1枚以上の紙、布、合成樹脂シート等の2次元記録媒体に文字、記号、絵等から構成される広告等の表示が描かれたものである。またシート装着部は、枠体の内側に位置して、表示用シートが装着可能な構成であれば如何なる構成であってもよい。さらに枠体は、シート装着部の周囲を全体的に囲むものであっても、また一部を囲むものであってもよい。
【０００８】
本発明の看板には、表示用シート及び／または枠体（表示用シート及び枠体の少なくとも一方）の表面上の予め定めた位置に、既知の分光反射率を有する無彩色で表示された基準マークが付されている。本発明の看板のように、既知の分光反射率を有する無彩色で表示された基準マークが付されている看板を撮影対象とした場合には、デジタルカメラで撮影して得られるデジタル画像データから、基準マークを特定し、デジタル画像データ中の基準マークに対応する画像部分の記録値と前述の既知の分光反射率とから、看板に当たっている太陽光や電気照明等の実照明の輝度と色みとを知ることができる。その結果、例えば、実照明の輝度と色みを用いて、デジタル画像データ中の表示用シートに対応する画像部分のデータ（記録値）を演算処理することにより、標準照明下における物体色画像のデータを得ることができ、これを標準照明下の判別用基準画像データと比較すれば、画像判定精度を高めることができる。また逆に、実照明の色みを用いて、標準照明下の判別用基準画像データの色みを補正して、判別用基準画像データを実照明下の判別用基準画像データに補正し、これを実照明下における表示用シートの物体色画像のデータと比較しても、画像判定精度を高めることができる。したがって本発明の看板を撮影の対象とすれば、画像判定精度を高めることが可能になる。
【０００９】
なお基準マークを付す予め定めた位置とは、看板をデジタルカメラで撮影して得られるデジタル画像データから基準マークを特定することが容易な位置であれば、枠体及び／または表示用シートの上のどのような位置であってもよい。例えば、枠体の外表面の全体をこの予め定めた位置としてもよく、また表示用シートの外周縁部の全部または一部をこの予め定めた位置としてもよい。
【００１０】
特に、基準マークを枠体のみに付すと、表示用シートに基準マークを付す制約がなくなるので、表示用シートとして基準マークを付した特別なものを用意する必要がなくなる利点が得られる。
【００１１】
また例えば、枠体が、横方向に対向する一対の縦フレーム部と、縦方向に対向する一対の横フレーム部とを備えている場合には、一対の縦フレーム部及び一対の横フレーム部のそれぞれに、基準マークを付すことができる。このように基準マークを枠体に付すと、基準マークそれ自体をデジタル画像データ中から枠体に対応する画像部分を特定する際のマーク（目印）として利用することが可能になる。その結果、画像処理における枠体の特定が容易になる利点が得られる。なおこの場合、縦フレーム部と横フレーム部との交差部を囲む２つの領域部分に、それぞれ基準マークを付してもよい。また縦フレーム部と横フレーム部との交差部に、基準マークを付してもよい。いずれにしても、これらの位置に基準マークを付せば、枠体の特定が容易になる。
【００１２】
また基準マークの形状は、デジタル画像データ中から基準マークに対応する画像部分の特定が容易になる形状であれば、如何なる形状であってもよい。また基準マークに施される無彩色は、既知の分光反射率を有するものであれば、どのような無彩色でもよい。特に、いわゆる灰色で代表される無彩色を用いると、より演算精度を高めることができる。例えば、分光反射率が２０％〜８０％の灰色を基準マークに施すと、他の無彩色を用いる場合と比べて、更に演算精度を高めることができる。
【００１３】
また表示用シート及び／または枠体上には、記録値が既知の１以上の有彩色を付した色み補正用基準マークを基準マークとは別に表示してもよい。このような色み補正用基準マークを看板に付しておけば、色みの補正精度を高めることができる。
【００１４】
本発明の看板を撮影対象として得たデジタル画像データと、予め用意した標準照明下の複数の判別用基準画像データとに基づいて、看板の表示用シートの種別を判別する場合（即ちどのような表示が描かれている表示用シートであるかを判別する場合）には、本発明の複数種類の画像判定方法を用いることができる。
【００１５】
本発明の画像判定方法では、基本的に、表示用シート画像特定ステップと、基準マーク画像特定ステップと、変換補正ステップと、判別ステップとを実行する。表示用シート画像特定ステップでは、デジタル撮影画像データから看板の枠体を特定し、枠体内の表示用シートの画像部分を特定する。また基準マーク画像特定ステップでは、デジタル撮影画像データから基準マークの画像部分を特定する。なお表示用シート画像特定ステップと基準マーク画像特定ステップとは、別個に行ってもよいが、同時に行ってもよい。特に、前述のように枠体に設ける基準マークの位置を枠体の特定に利用可能な位置とすれば、両ステップを同時に実行することができる。そして変換補正ステップでは、表示用シート画像特定ステップで特定した表示用シートに対応する画像部分の記録値と基準マーク画像特定ステップで特定した基準マークに対応する画像部分の記録値とを用いて、表示用シートに対応する画像部分の記録値を物体色の色値に変更する。そしてこのステップでは、この物体色の色値を標準照明下における見えを与えるように補正をする。この変換補正ステップは、具体的には、種々の方法により実現が可能である。そして判定ステップでは、補正された物体色の色値と複数の判別用基準画像データとに基づいて、表示用シートの種別を判別する。
【００１６】
デジタルカメラの記録値からｓＲＧＢやＣＩＥＸＹＺなどの標準的な表色系の色値への変換が既知の場合には、本発明の画像判定方法では、変換補正ステップを標準化ステップ、物体色化ステップ、及び色み補正ステップの３つのステップから構成することが可能である。
【００１７】
標準化ステップでは、表示用シート画像特定ステップで特定した表示用シートに対応する画像部分の記録値と、基準マーク画像特定ステップで特定した基準マークに対応する画像部分の記録値とを、標準的な表色系に変換してそれぞれ変換値とする。デジタルカメラの記録値は、ＲＧＢ値またはｓＲＧＢ値である。そこで、標準化ステップでは、例えば、これらの記録値をＣＩＥ系のＸＹＺ値に表色値変換することができる。
【００１８】
記録値の変換値がＸＹＺ値の場合、この変換値は光源色としての色値である。そのため実照明の光源の輝度の影響を取り除くために、物体色化ステップでは、標準化ステップで得た基準マークに対応する画像部分の記録値の変換値に基づいて、表示用シートに対応する画像部分の記録値の変換値を、物体色の色値に変更する。
【００１９】
また物体色の色値は、実照明の色みの影響を含んでいる。そこで色み補正ステップでは、標準化ステップで得た基準マークに対応する画像部分の記録値の変換値に基づいて実照明の色みを推定する。そして色み補正ステップでは、この推定した実照明の色みと、判別用基準画像データを作成する際に使用する標準照明の色みとに基づいて、物体色の色値の色みを、標準照明下における見えを与えるように補正する。
【００２０】
そして判別ステップでは、色み補正された物体色の色値と複数の判別用基準画像データとに基づいて、表示用シートの種別を判別する。このようにすれば、実照明の輝度と色みの影響を除去して、表示用シートに対応する画像データ（補正された物体色の色値）と複数の判別用基準画像データとを比較することになるため、判定精度を高めることができる。また複数の判別用基準画像データは、標準照明下のものを用意しておけばよく、実照明の変化に対応して多数の判別用基準画像データを用意しておく必要はない。
【００２１】
また上記の方法とは逆に、標準照明下の複数の判別用基準画像データを実照明下の複数の判別用基準画像データに補正して、表示用シートの種別を判別するようにしてもよい。その場合には、色み補正ステップでは、標準化ステップで得た基準マークに対する画像部分の記録値の変換値に基づいて実照明の色みを推定し、この実照明の色みと標準照明の色みとに基づいて、複数の判別用基準画像データの色みを、デジタル撮影画像データを取得したときの実照明下における見えを与えるように補正する。そして判別ステップでは、物体色の色値と色み補正された複数の判別用基準画像データとに基づいて、表示用シートの種別を判別する。
【００２２】
なお看板に、複数個の基準マークが、表示シート上及び／または枠体上に分散して設けられている場合には、各基準マーク毎に実照明の状態が異なっている場合がある。例えば、看板の一部だけに太陽の光があたっている場合や、看板の一部が影になっている場合等である。このような場合には、標準化ステップでは、複数箇所の基準マークに対する画像部分の記録値をそれぞれ変換値に変換する。そして、複数の変換値の平均値または複数の変換値から多数決により決定した代表値を、物体色化ステップ及び色み補正ステップにおける変換値として用いればよい。
【００２３】
また表示用シート及び／または枠体上に、記録値が既知の１以上の有彩色を付した色み補正用基準マークが付されている場合には、基準マーク画像特定ステップでは、デジタル撮影画像データから色み補正用基準マークの画像部分も併せて特定する。そして色み補正ステップでは、色み補正用基準マークの画像部分の記録値と色み補正用基準マークの既知の物体色の色値とを更に考慮して、実照明の色みを推定する。このようにすれば、更に判定精度を高めることができる。
【００２４】
また撮影に使用したデジタルカメラが露出及びホワイトバランスを自動調節している場合で、撮影したデジタルカメラの機種が特定できる場合には、テーブル作成ステップにより用意したルックアップテーブルを用いて、変換補正を行うように変換補正ステップを構成する。この方法でも、表示用シート画像特定ステップ及び基準マーク画像特定ステップは、先に説明した方法と同じである。テーブル作成ステップでは、標準照明下で前記所定のデジタルカメラで予め撮影した物体色の色値が既知である色票群の撮影データに基づいて、記録値と物体色の色値との関係をテーブルにしたルックアップテーブルを作成する。そして変換補正ステップでは、表示用シート画像特定ステップで特定した表示用シートに対応する画像部分の記録値と基準マーク画像特定ステップで特定した基準マークに対応する画像部分の記録値を、ルックアップテーブルを用いて物体色の色値にそれぞれ変換する。露出及びホワイトバランスが自動調節されていて、事前にカメラの機種ごとに前述のルックアップテーブルが用意されていれば、この変換補正ステップでも実用上利用可能な物体色の色値を得ることができる。なおカメラの機種が判らない場合もある。そこで、このような場合には、標準的なルックアップテーブルを用意して、これを利用するようにすればよい。露出及びホワイトバランスが適正に自動調節されていれば、色みの補正は必要がない。精度をより高めたい場合には、変換補正ステップにより、基準マークに対応する画像部分の物体色の色値に基づいて、表示用シートに対応する画像部分の物体色の色値の色みを、標準照明下における見えを与えるように補正する。そして判定ステップでは、色み補正された表示用シートに対応する画像部分の物体色の色値と複数の判別用基準画像データとに基づいて、表示用シートの種別を判別する。この方法によれば、演算を必要とする標準化ステップや、物体色化ステップが不要になるので、判定動作が簡単になる。
【００２５】
また撮影に使用したデジタルカメラが露出及びホワイトバランスを自動調節している場合には、ニューラルネットを用いた本発明の更に別の画像判定方法を利用できる。この更に別の画像判定方法では、変換補正ステップを、ニューラルネットを用いて構成する。この方法を実施するためには、ニューラルネット準備ステップでは、標準照明下で撮影した物体色の色値が既知である色票群の撮影データに基づいて、記録値を物体色の色値に変換する変換関数を有するニューロンを備えたニューラルネットを準備する。具体的には、複数の判別用基準画像データを判別基準として、各種のデジタルカメラで撮影した多数のデジタル撮影画像データをニューラルネットに入力して学習を行うことにより、ニューラルネットに含まれる複数のニューロンの変換関数を決定する。適正な変換関数が定まれば、色みの補正を必要とすることなく、判定に利用できる物体色の色値を得ることができる。そこで変換補正ステップでは、表示用シート画像特定ステップで特定した表示用シートに対応する画像部分の記録値と、基準マーク画像特定ステップで特定した基準マークに対応する画像部分の記録値とを入力として、ニューラルネットを用いて、表示用シートに対応する画像部分の記録値を標準照明下における見えを与えるように色みを補正した物体色の色値に変換する。そして判定ステップでは、変換ステップにより得た表示用シートに対応する画像部分の物体色の色値と複数の判別用基準画像データとに基づいて、表示用シートの種別を判別する。ニューラルネットを用いた画像判定方法によれば、最初にニューラルネットを構築しさえすれば、後は、測定値の物体色の色値への変換を最も簡単に行える。
【００２６】
なおルックアップテーブルやニューラルネットを用いる場合においても、看板に、複数個の基準マークが、表示シート上及び／または枠体上に分散して設けられている場合には、変換補正ステップで多数決により決定した代表値を用いることができる。すなわち複数箇所の基準マークに対する画像部分の記録値の平均値または複数の記録値から多数決により決定した代表値を、変換補正ステップにおける基準マークに対応する記録値として用いることができる。
【発明の効果】
【００２７】
本発明の看板によれば、デジタル画像データ中の基準マークに対応する画像部分の記録値と前述の既知の無彩色の分光反射率とから、実照明の輝度と色みとを知ることができ、実照明の輝度と色みを用いて標準照明下における物体色画像のデータ又は実照明下の判別用基準画像データを得ることができる。その結果、標準照明下における物体色画像のデータ又は実照明下の判別用基準画像データを用いて画像判定を行うことが可能になり、画像判定精度を高めることができる。
【発明を実施するための最良の形態】
【００２８】
以下図面を参照して本発明の実施の形態を詳細に説明する。図１は、本発明の看板の一実施の形態の看板１を示す図である。図１に示した看板は、表示用シート２が装着されるシート装着部３と、シート装着部３の周囲を囲む枠体４とを有している。本実施の形態で用いる表示用シート２は、1枚の合成樹脂シートの上にインクジェット方式により広告等が印刷されたシートである。そしてシート装着部３は、枠体４の内側に位置して、表示用シート２が装着可能な板状を呈している。表示用シート２は、シート装着部３上に剥離可能な接着剤を用いて接合される。
【００２９】
枠体４は、シート装着部３よりも前方側に突出しており、横方向に対向する一対の縦フレーム部５及び６と、縦方向に対向する一対の横フレーム部７及び８とから構成されている。そして一対の縦フレーム部５及び６並びに一対の横フレーム部７及び８には、それぞれ基準マーク９乃至１６が付されている。基準マーク9及び１０は、縦フレーム部５と横フレーム部７との交差部を囲む２つの領域部分に設けられ、基準マーク１２及び１１は、縦フレーム部６と横フレーム部７との交差部を囲む２つの領域部分に設けられ、基準マーク１３及び１４は、縦フレーム部６と横フレーム部８との交差部を囲む２つの領域部分に設けられ、基準マーク１６及び１５は、縦フレーム部５と横フレーム部８との交差部を囲む２つの領域部分に設けられている。
【００３０】
基準マーク９乃至１６は、それぞれ既知の分光反射率を有する無彩色が付されて表示されている。本実施の形態では、分光反射率が１０％〜１００％の無彩色である灰色一色により、基準マーク９乃至１６がそれぞれ着色されている。明るさの変化が大きい屋外に設置される看板に対しては、分光反射率が２０％〜８０％の無彩色である灰色一色により、基準マーク９乃至１６をそれぞれ着色するのが好ましい。この範囲の分光反射率であれば、朝・昼・夕または晴天・曇り・雨天もしくは夜間照明下のいずれにおいても、後述する色みの補正精度をある程度のレベルで維持することができる。
【００３１】
この看板１のように、既知の分光反射率を有する無彩色（灰色）で表示された基準マーク９乃至１６が付されている看板を撮影対象とした場合には、デジタルカメラで撮影して得られるデジタル画像データから、基準マーク９乃至１６に対応する画像部分を特定することにより、枠体４に対応する画像部分またはシート装着部３に装着された表示用シート２に対応する画像部分を特定することができる。
【００３２】
図２（Ａ）乃至（Ｄ）は、それぞれ基準マークの表示位置を変えた他の実施の形態の看板の平面図である。図２（Ａ）の看板では、縦フレーム部５または６と横フレーム部７または８との交差部に、基準マーク１７乃至２０がそれぞれ付されている。また横フレーム部８には、測色値（記録値）が既知の4色（例えば、赤、青、黄色、緑）の有彩色をそれぞれ付した色み補正用基準マーク２１乃至２４が基準マーク１７乃至２０とは別に表示されている。このような色み補正用基準マーク２１乃至２４を看板に付しておけば、後述する色みの補正精度を高めることができる。
【００３３】
図２（Ｂ）の看板１では、枠体４の外面全体が既知の分光反射率を有する無彩色の灰色で着色されており、枠体４の外表面が基準マーク２５を構成している。図１並びに図２（Ａ）及び（Ｂ）の看板のように、基準マークを枠体４のみに付すと、表示用シート２に基準マークを付す制約がなくなるので、表示用シート２として基準マークを付した特別なものを用意する必要がない。
【００３４】
また図２（Ｃ）の看板では、表示用シート２の対角線上で対向する一対の角部に基準マーク２６及び２７が表示されている。そして一対の縦フレーム部５及び６並びに一対の横フレーム部７及び８には、色み補正用基準マーク２８乃至３１が分散して設けられている。さらに図２（Ｄ）の看板１では、枠体４の対角線上で対向する一対の角部（縦フレーム部と横フレーム部の交差部）に基準マーク３２及び３３が表示されており、また表示用シートの対角線上で対向する一対の角部に基準マーク３４及び３５が表示されている。
【００３５】
図２（Ａ）乃至（Ｄ）に示した各看板１のように、基準マークは、枠体４及び／または表示用シート２の予め定めた位置に設けることが可能である。基準マークを付す予め定めた位置とは、看板１をデジタルカメラで撮影して得られるデジタル画像データから基準マークを特定することが容易な位置であれば、枠体４及び／または表示用シート４の上のどのような位置であってもよい。
【００３６】
また上記各実施の形態の基準マークの形状は、矩形形状であるが、基準マークの形状はデジタル画像データ中から基準マークに対応する画像部分の特定が容易になる形状であれば、如何なる形状（丸、三角、四角、記号、シンボル等）であってもよい。また上記実施の形態では、基準マークに施される無彩色は、既知の分光反射率を有するものであれば、どのような無彩色でもよい。
【００３７】
次に、本発明の看板を撮影対象として得たデジタル画像データと、予め用意した標準照明下の複数の判別用基準画像データとに基づいて、看板１の表示用シート２の種別を判別する場合（即ちどのような表示が描かれている表示用シート２であるかを判別する場合）に用いる画像判定方法の実施の形態を説明する。本発明の画像判定方法の実施の形態では、その本質的なステップとして、表示用シート画像特定ステップと、基準マーク画像特定ステップと、変換補正ステップと判別ステップとを実効する。図３は、実施の形態の画像判定方法をコンピュータを用いて実施する場合に用いるプログラムのアルゴリズムを示すフローチャートである。表示用シート画像特定ステップ（ステップＳＴ１及びＳＴ２）では、デジタル撮影画像データから看板の枠体を特定し、同時に枠体内の表示用シートの画像部分を特定する。また基準マーク画像特定ステップＳＴ３では、デジタル撮影画像データから基準マークの画像部分を特定する。そして変換補正ステップＳＴ４では、表示用シート画像特定ステップＳＴ２で特定した表示用シートに対応する画像部分の記録値と基準マーク画像特定ステップＳＴ３で特定した基準マークに対応する画像部分の記録値とを用いて、表示用シートに対応する画像部分の記録値を物体色の色値に変更する。そしてこのステップＳＴ４では、この物体色の色値を標準照明下における見えを与えるように補正をする。概念的に言えば、このステップＳＴ４では、撮影画像から判別用の補正された撮影画像を作成している。変換補正ステップＳＴ４は、具体的には、後に詳しく説明するように、種々の方法により実現が可能である。そして判定ステップＳＴ５では、補正された物体色の色値（判別用の補正された撮影画像データ）と複数の判別用基準画像データとに基づいて、表示用シートの種別を判別する。概念的に言えば、この判定ステップＳＴ５では、判別用基準画像データから、判別用の補正された撮影画像に適合した画像を判別して、画像の種別を判定する。
【００３８】
図４乃至図６を用いて、画像判定方法の具体例を説明する。この画像判定方法では、変換補正ステップを標準化ステップと、物体色化ステップと、色み補正ステップとから構成する。その他は、図３のフローチャートのステップと同じである。図５は、図４の一部のステップの詳細を示すフローチャートであり、図６はアルゴリズムの流れを図式化した図である。なお図６には、看板の画像に対して看板の構成部分に対応する画像部分に対して図２（Ａ）に示した符号に´を付した符号を付してある。
【００３９】
図４のステップＳＴ１では、デジタル画像撮影データを取得する。デジタルカメラから得られるデジタル撮影画像データは、通常ＲＧＢ値又はｓＲＧＢ値で表されている。ステップＳＴ２では、デジタル撮影画像データ中から看板の枠体を検出する。このステップＳＴ２については、画像中から特定の領域を抽出する公知の抽出技術を用いればよい。例えば、まず撮影する際に、撮影対象ができるだけ画像の中心に位置するようにして、しかも画面中にできるだけ撮影対象が大きく写るように撮影するようにする。そして公知の抽出技術を適用して枠体を検出する。このようにすると枠体に対応する画像部分４´の抽出精度が大幅に高くなる。そしてステップＳＴ３では、画像中から基準マークに対応する画像部分１９´（以下代表的に、一つの画像部分の符号１９´を使用する）を検出する。基準マークは、前述のように、枠体及び／または表示用シート上の予め定めた位置に設けるため、枠体の特定がなされれば、自動的に基準マークの検出または特定は行うことができる。ステップＳＴ２によって、デジタル撮影画像データから看板１の枠体４に対応する画像部分４´を特定し、枠体４内の表示用シート２の画像部分２´を特定することができる（表示用シート画像特定ステップ）。またステップＳＴ３によって、デジタル撮影画像データから基準マークの画像部分１９´を特定することができる（基準マーク画像特定ステップ）。なお表示用シート画像特定ステップと基準マーク画像特定ステップとは、別個に行ってもよいが、同時に行ってもよい。特に、本実施の形態の看板１のように、枠体４に設ける基準マークの位置を枠体４の特定に利用可能な位置とすれば、両ステップを同時に実行することは可能である。
【００４０】
図４のステップＳＴ４は、変換補正ステップであり、ステップＳＴ４Ａは、標準化ステップと物体色化ステップである。このステップＳＴ４Ａでは、表示用シート画像特定ステップ（ＳＴ２）で特定した表示用シート２に対応する画像部分2´の記録値と、基準マーク画像特定ステップ（ＳＴ３）で特定した基準マークに対応する画像部分１９´の記録値とを、標準的な表色系の変換値である変換値ＸＹＺ値にそれぞれ変換する。なお後に説明する図６においては、表示用シートに対応する画像部分2´の記録値をＲＧＢと示し、基準マークの記録値をＲ０Ｇ０Ｂ０と表示し、ＲＧＢの変換値をＸＹＺとして示し、Ｒ０Ｇ０Ｂ０の変換値をＸ０Ｙ０Ｚ０として示している。前述のように、デジタルカメラの記録値は、ＲＧＢ値またはｓＲＧＢ値である。そこで標準化ステップでは、これらの記録値を標準的な表色系のＣＩＥＸＹＺの変換値に表色変換する。本実施の形態では、図５にステップＳＴ４Ａを詳細に示したステップＳＴ４１及び４２に示すように、記録値のＲＧＢ値をＣＩＥ系の光源色ＸＹＺ値に変換する。なおこのｓＲＧＢとＣＩＥＸＹＺの相互変換についてのアルゴリズムは、ＩＥＣ６１９６６−２−１「Multimedia systems and equipment-Colour measure and management-Part 2-1:Colour management-Default RGB colour space-sRGB」に記載されているので省略する。
【００４１】
ステップＳＴ４１及び４２における記録値の変換値（ＸＹＺ及びＸ０Ｙ０Ｚ０）は、光源色としての変換値であるため、実照明の光源の輝度の影響を取り除くために、物体色化する必要がある。そこで図５のステップＳＴ４３の物体色化ステップでは、標準化ステップ（ＳＴ４１及び４２）で得た基準マークに対応する画像部分１９´の記録値の変換値（光源光Ｘ０Ｙ０Ｚ０値）中の輝度（Ｙ０値）と基準マークの既知の分光反射率γ０とを用いて、表示用シートに対応する画像部分2´の記録値の変換値（光源色ＸＹＺ）を、物体色を示す物体色の色値（ＸＹＺｏｂｊ）に変換する。なおこの変換も既に周知であるから詳しい説明は省略する。ちなみ物体色の色値Ｘｏｂｊは、Ｘｏｂｊ＝（γ０Ｘ）／Ｙ０の式によって演算によって求めることができる。
【００４２】
また物体色の色値は、実照明の色みの影響を含んでいる。そこで図４のステップＳＴ４Ｂの色み補正ステップでは、撮影画像（表示用シートに対応する画像部分）の色み補正を行う。まず図５のステップＳＴ４４に示すように、標準化ステップ（ステップＳＴ４Ａ）で得た基準マークに対応する画像部分１９´の記録値の変換値Ｘ０Ｙ０Ｚ０に基づいて実照明の色みｘ０ｙ０を推定する。具体的には、色みｘ０＝Ｘ０／（Ｘ０＋Ｙ０＋Ｚ０）とｙ０＝Ｙ０／（Ｘ０＋Ｙ０＋Ｚ０）の式によって色みを求める。
【００４３】
そして色み補正ステップＳＴ４Ｂ（図５のステップＳＴ４４及びＳＴ４５）では、この推定した実照明の色みｘ０ｙ０と、判別用基準画像データを作成する際に使用する既知の標準照明の色みｘｎｙｎとに基づいて、表示用シートに対応する画像部分２´の物体色の色値（ＸＹＺｏｂｊ）を、標準照明下における見えを与える（標準照明下で撮影した画像のように見える状態にする）ように補正する。
【００４４】
図４のステップＳＴ５の判別ステップでは、色み補正された物体色の色値（ＸＹＺｏｂｊ）と予め用意した既知の標準照明下で得た複数の判別用基準画像データとに基づいて、表示用シートの種別を判別する。なお本実施の形態では、複数の判別用基準画像データとしては、インクジェット印刷で表示用シートの上に印刷を行う際に使用する画像データをそのまま使用している。
【００４５】
この判別ステップにおける判別方法としては、前述の特許文献１及び２等に示された公知の種々の画像判定技術で採用している公知の判別技術を用いることができる。
【００４６】
本実施の形態の画像判定方法によれば、実照明の輝度と色みの影響を除去して、表示用シート２に対応する画像データ（補正された物体色の色値）と複数の判別用基準画像データとを比較することになるため、実照明の輝度及び色みの影響を考慮していない従来の画像判定技術と比べて、判定精度を高めることができる。また複数の判別用基準画像データは、標準照明下のものを用意しておけばよく、実照明の変化に対応して多数の判別用基準画像データを用意しておく必要はない。
【００４７】
また上記の方法とは逆に、標準照明下の複数の判別用基準画像データを実照明下の複数の判別用基準画像データに補正して、表示用シートの種別を判別するようにしてもよい。図６はこの場合の処理の流れを示す図である。図７には、図６と同様の考え方で符号及び記号を表記してある。図７に示した方法の場合には、前述の色み補正ステップでは、標準化ステップで得た基準マークに対する画像部分１９´の記録値の変換値に基づいて実照明の色みｘ０ｙ０を推定し、この実照明の色みｘ０ｙ０と標準照明の色みｘｎｙｎとに基づいて、複数の判別用基準画像データの色みを、デジタル撮影画像データを取得したときの実照明下における見えを与えるように（判別用基準画像データに基く再生画像が実照明下で取得した画像と同じようにみえるように）補正する。そして判別ステップでは、物体色の色値と色み補正された複数の判別用基準画像データとに基づいて、表示用シートの種別を判別する。その他は、図４乃至図６で説明した先の方法と同じである。
【００４８】
また図８は、撮影に使用したデジタルカメラが適正に露出及びホワイトバランスを自動調節している場合に使用できる本発明の画像判定方法の判定ステップ前までの流れを示している。この方法でも、表示用シート画像特定ステップ及び基準マーク画像特定ステップは、先に説明した方法と同じである。そしてこの方法では、判定ステップでの判定のために、標準照明下で所定のデジタルカメラで予め撮影した複数の判別用基準画像データを用意する。テーブル作成ステップでは、物体色の色値が既知である色票群の撮影データに基づいて、記録値と物体色の色値との関係をテーブルにしたルックアップテーブルＬＵＴを作成する。この例では、図８においては、表示用シートに対応する画像部分2´の記録値をＲＧＢと示し、基準マークの記録値をＲ０Ｇ０Ｂ０と表示し、ＲＧＢのＬ＊ａ＊ｂ＊値への変換値をＬ＊ａ＊ｂ＊として示し、Ｒ０Ｇ０Ｂ０の変換値をＬ０＊ａ０＊ｂ０＊として示している。前述のように、デジタルカメラの記録値は、ＲＧＢ値またはｓＲＧＢ値である。ルックアップテーブルＬＵＴには、これらの記録値（ＲＧＢ値）を標準的な表色系であるＬ＊ａ＊ｂ＊値等の変換値に表色変換するために使用される対応データがテーブル形式で予め記録されている。そこで変換ステップでは、表示用シート画像特定ステップで特定した表示用シートに対応する画像部分２´の記録値ＲＧＢと基準マーク画像特定ステップで特定した基準マーク１７´〜１９´に対応する画像部分の記録値Ｒ０Ｇ０Ｂ０を、ルックアップテーブルＬＵＴを用いて物体色の色値Ｌ＊ａ＊ｂ＊及びＬ０＊ａ０＊ｂ０＊にそれぞれ変換する。露出及びホワイトバランスが自動調節されていて、前述のルックアップテーブルが用意されていれば、この変換ステップでも実用上利用可能な物体色の色値を得ることができる。露出及びホワイトバランスが自動調節されていれば、色みの補正は必要がない。そこでこの方法の場合には、色み補正ステップ（色み補正）により、変換ステップで得た基準マークに対応する画像部分の物体色の色値Ｌ０＊ａ０＊ｂ０＊に基づいて、変換ステップで得た表示用シートに対応する画像部分の物体色の色値Ｌ＊ａ＊ｂ＊の色みを、標準照明下における見えを与える値Ｌ＊´ａ＊´ｂ＊´に補正して、表示用シートの判別用補正画像を得る。色みの補正は、ａ＊´＝ａ＊−ａ０＊の補正式と、ｂ＊´＝
ｂ＊−ｂ０＊の補正式とを用いることにより行われる。尚、撮影に使用したデジタルカメラが適正に露出及びホワイトバランスを自動調節している場合で、撮影したデジタルカメラの機種が特定できる場合は、機種毎にルックアップテーブルを用意すれば、より精度良く物体色の色値を得ることができる。
【００４９】
なおＬ＊´はＬ０＊と同じである。このようにルックアップテーブルＬＵＴを用いると、演算を必要とする標準化ステップや、色み補正ステップが不要になるので、判定動作が簡単になる。
【００５０】
また撮影に使用したデジタルカメラが適正に露出及びホワイトバランスを自動調節している場合には、図９に示すように、ニューラルネットを用いた画像判定方法を利用することができる。図９は、ニューラルネットを用いた画像判定方法の判定ステップ前までの流れを示している。この方法を実施するためには、標準照明下で所定のデジタルカメラで看板１´を予め撮影した複数の判別用基準画像データを使用する。まずニューラルネット準備ステップにおいて、複数の判別用基準画像データに基づいて、記録値を標準照明下における物体色を示す物体色の色値に変換する変換関数を有するニューロンを備えたニューラルネットを準備する。具体的には、複数の判別用基準画像データを判別基準として、各種のデジタルカメラで撮影した多数のデジタル撮影画像データをニューラルネットに入力して学習を行うことにより、ニューラルネットに含まれる複数のニューロンの変換関数を決定する。そして適正な変換関数を有する複数のニューロンを備えたニューラルネットの入力として、表示用シート画像特定ステップで特定した表示用シートに対応する画像部分の記録値ＲＧＢ、基準マーク画像特定ステップで特定した基準マークに対応する画像部分の記録値Ｒ０Ｇ０Ｂ０用いる。すでにニューラルネットは、色みの補正を必要とすることなく（色みの補正をニューラルネットで行っていると考えることもできる）、判定に利用できる物体色の色値を出力するように構成されているため、ニューラルネットの出力からは色みが補正された物体色の色値Ｌ＊´ａ＊´ｂ＊´が出力される。その結果、表示用シートに対応する画像部分２´の記録値を標準照明下における見えを与えるように色みを補正した物体色を示す物体色の色値Ｌ＊´ａ＊´ｂ＊´を簡単に得ることができる。そして後の判定ステップでは、変換ステップにより得た表示用シートに対応する画像部分の物体色の色値と複数の判別用基準画像データとに基づいて、表示用シートの種別を判別する。このようなニューラルネットを用いた画像判定方法によれば、最初にニューラルネットを構築しさえすれば、後は、測定値の物体色の色値への変換を最も簡単に行える。尚、撮影に使用したデジタルカメラが適正に露出及びホワイトバランスを自動調節している場合で、撮影したデジタルカメラの機種が特定できる場合は、機種毎にニューラルネットを構築することで、より精度良く物体色の色値への変換をすることができる。
【００５１】
なお図２（Ａ）、（Ｃ）及び（Ｄ）に示すように、看板１に、複数個の基準マーク１７〜１９等が、表示シート２上及び／または枠体４上に分散して設けられている場合には、各基準マーク毎に実照明の状態が異なっている場合がある。例えば、看板１の一部だけに太陽の光があたっている場合や、看板１の一部が影になっている場合等である。このような場合には、前述の標準化ステップでは、複数箇所の基準マーク１７〜１９等に対する画像部分１７´〜１９´の記録値をそれぞれ変換値に変換する。そして、複数の変換値の平均値または複数の変換値から多数決により決定した代表値を、物体色化ステップ及び色み補正ステップにおける変換値として用いることができる。
【００５２】
また図２（Ａ）及び（Ｃ）に示したように、表示用シート２及び／または枠体４上に、物体色の色値が既知の１以上の有彩色を付した色み補正用基準マーク２１〜２４及び２８〜３１が付されている場合には、基準マーク画像特定ステップでは、デジタル撮影画像データから色み補正用基準マーク２１〜２４及び２８〜３１の画像部分も併せて特定する。そして色み補正ステップでは、色み補正用基準マーク２１〜２４及び２８〜３１の画像部分の記録値と色み補正用基準マークの既知の記録値とを更に考慮して、実照明の色みを推定することができる。このようにすれば、更に判定精度を高めることができる。なおこの色み補正に関しては、種々の公知の方法を用いればよい。
【図面の簡単な説明】
【００５３】
【図１】本発明の看板の一実施の形態の看板１の構成を示す図である。
【図２】（Ａ）乃至（Ｄ）は、それぞれ基準マークの表示位置を変えた他の実施の形態の看板の平面図である。
【図３】本発明の画像判定方法の基本的な実施の形態をコンピュータを用いて実施する場合に用いるプログラムのアルゴリズムを示すフローチャートである。
【図４】本発明の画像判定方法の実施の形態の一例をコンピュータを用いて実施する場合に用いるプログラムのアルゴリズムを示すフローチャートである。
【図５】図４の一部のステップの詳細を示すフローチャートである。
【図６】図４及び図５のアルゴリズムの流れを図式化した図である。
【図７】本発明の画像判定方法の他の実施の形態のアルゴリズムの流れを図６と同様にして図式化した図である。
【図８】本発明の画像判定方法の他の実施の形態のアルゴリズムの流れを図６と同様にして図式化した図である。
【図９】本発明の画像判定方法のさらに別の実施の形態のアルゴリズムの流れを図６と同様にして図式化した図である。
【符号の説明】
【００５４】
１ 看板
２ 表示用シート
３ シート装着部
４ 枠体
５，６ 縦フレーム部
７，８ 横フレーム部
９〜１６，１７〜２０，２５〜２７，３２〜３５ 基準マーク
２１〜２４，２８〜３１ 色み補正用基準マーク
【技術分野】
【０００１】
本発明は、デジタルカメラで撮影したデジタル撮影画像データから、シート装着部に装着されている表示シートの種別を判別することが容易な看板及び画像判定方法に関するものである。
【背景技術】
【０００２】
特開２００５−１６５６６２号公報（特許文献１）及び特開２００５−２４２５９２号公報（特許文献２）等には、携帯電話に搭載されているデジタルカメラで撮影したデジタル撮影画像データから、撮影対象を判別する技術が開示されている。これらの公知技術では、撮影画像データから特徴量を抽出し、照明条件の変化があっても、撮影対象を判別することができるようにするための、複雑な演算を行っている。
【特許文献１】特開２００５−１６５６６２号公報 図１及び要約
【特許文献２】特開２００５−２４２５９２号公報 図１
【発明の開示】
【発明が解決しようとする課題】
【０００３】
しかしながら従来の技術では、撮影時の実照明の輝度と色みを考慮して、撮影対象を判別することを行っていないため、判定精度を高めるためには、複雑な演算を行う必要があり、また予め用意しておく判別用基準画像データの量が多くなる等の問題があった。特に撮影対象が野外に設置される看板にあっては、看板に様々な輝度と色みの実照明が当たるため、同じ看板を撮影しても、異なる看板であるとの誤った判定が出ることがあり、判定精度を高めることに限界があった。
【０００４】
本発明の目的は、画像判定精度を高めることができる撮影対象としての看板を提供することにある。
【０００５】
本発明の他の目的は、撮影時の実照明の輝度と色みを考慮した画像判定を行うことが容易な看板を提供することにある。
【０００６】
本発明の別の目的は、撮影時の実照明の輝度と色みを考慮して、撮影対象としての看板に装着された表示用シートの種別を、従来よりも簡単に且つ高い精度で判定することができる画像判定方法を提供することにある。
【課題を解決するための手段】
【０００７】
本発明は、表示用シートが装着されるシート装着部と、シート装着部の周囲を囲む枠体とを有する看板を対象とする。表示用シートは、1枚以上の紙、布、合成樹脂シート等の2次元記録媒体に文字、記号、絵等から構成される広告等の表示が描かれたものである。またシート装着部は、枠体の内側に位置して、表示用シートが装着可能な構成であれば如何なる構成であってもよい。さらに枠体は、シート装着部の周囲を全体的に囲むものであっても、また一部を囲むものであってもよい。
【０００８】
本発明の看板には、表示用シート及び／または枠体（表示用シート及び枠体の少なくとも一方）の表面上の予め定めた位置に、既知の分光反射率を有する無彩色で表示された基準マークが付されている。本発明の看板のように、既知の分光反射率を有する無彩色で表示された基準マークが付されている看板を撮影対象とした場合には、デジタルカメラで撮影して得られるデジタル画像データから、基準マークを特定し、デジタル画像データ中の基準マークに対応する画像部分の記録値と前述の既知の分光反射率とから、看板に当たっている太陽光や電気照明等の実照明の輝度と色みとを知ることができる。その結果、例えば、実照明の輝度と色みを用いて、デジタル画像データ中の表示用シートに対応する画像部分のデータ（記録値）を演算処理することにより、標準照明下における物体色画像のデータを得ることができ、これを標準照明下の判別用基準画像データと比較すれば、画像判定精度を高めることができる。また逆に、実照明の色みを用いて、標準照明下の判別用基準画像データの色みを補正して、判別用基準画像データを実照明下の判別用基準画像データに補正し、これを実照明下における表示用シートの物体色画像のデータと比較しても、画像判定精度を高めることができる。したがって本発明の看板を撮影の対象とすれば、画像判定精度を高めることが可能になる。
【０００９】
なお基準マークを付す予め定めた位置とは、看板をデジタルカメラで撮影して得られるデジタル画像データから基準マークを特定することが容易な位置であれば、枠体及び／または表示用シートの上のどのような位置であってもよい。例えば、枠体の外表面の全体をこの予め定めた位置としてもよく、また表示用シートの外周縁部の全部または一部をこの予め定めた位置としてもよい。
【００１０】
特に、基準マークを枠体のみに付すと、表示用シートに基準マークを付す制約がなくなるので、表示用シートとして基準マークを付した特別なものを用意する必要がなくなる利点が得られる。
【００１１】
また例えば、枠体が、横方向に対向する一対の縦フレーム部と、縦方向に対向する一対の横フレーム部とを備えている場合には、一対の縦フレーム部及び一対の横フレーム部のそれぞれに、基準マークを付すことができる。このように基準マークを枠体に付すと、基準マークそれ自体をデジタル画像データ中から枠体に対応する画像部分を特定する際のマーク（目印）として利用することが可能になる。その結果、画像処理における枠体の特定が容易になる利点が得られる。なおこの場合、縦フレーム部と横フレーム部との交差部を囲む２つの領域部分に、それぞれ基準マークを付してもよい。また縦フレーム部と横フレーム部との交差部に、基準マークを付してもよい。いずれにしても、これらの位置に基準マークを付せば、枠体の特定が容易になる。
【００１２】
また基準マークの形状は、デジタル画像データ中から基準マークに対応する画像部分の特定が容易になる形状であれば、如何なる形状であってもよい。また基準マークに施される無彩色は、既知の分光反射率を有するものであれば、どのような無彩色でもよい。特に、いわゆる灰色で代表される無彩色を用いると、より演算精度を高めることができる。例えば、分光反射率が２０％〜８０％の灰色を基準マークに施すと、他の無彩色を用いる場合と比べて、更に演算精度を高めることができる。
【００１３】
また表示用シート及び／または枠体上には、記録値が既知の１以上の有彩色を付した色み補正用基準マークを基準マークとは別に表示してもよい。このような色み補正用基準マークを看板に付しておけば、色みの補正精度を高めることができる。
【００１４】
本発明の看板を撮影対象として得たデジタル画像データと、予め用意した標準照明下の複数の判別用基準画像データとに基づいて、看板の表示用シートの種別を判別する場合（即ちどのような表示が描かれている表示用シートであるかを判別する場合）には、本発明の複数種類の画像判定方法を用いることができる。
【００１５】
本発明の画像判定方法では、基本的に、表示用シート画像特定ステップと、基準マーク画像特定ステップと、変換補正ステップと、判別ステップとを実行する。表示用シート画像特定ステップでは、デジタル撮影画像データから看板の枠体を特定し、枠体内の表示用シートの画像部分を特定する。また基準マーク画像特定ステップでは、デジタル撮影画像データから基準マークの画像部分を特定する。なお表示用シート画像特定ステップと基準マーク画像特定ステップとは、別個に行ってもよいが、同時に行ってもよい。特に、前述のように枠体に設ける基準マークの位置を枠体の特定に利用可能な位置とすれば、両ステップを同時に実行することができる。そして変換補正ステップでは、表示用シート画像特定ステップで特定した表示用シートに対応する画像部分の記録値と基準マーク画像特定ステップで特定した基準マークに対応する画像部分の記録値とを用いて、表示用シートに対応する画像部分の記録値を物体色の色値に変更する。そしてこのステップでは、この物体色の色値を標準照明下における見えを与えるように補正をする。この変換補正ステップは、具体的には、種々の方法により実現が可能である。そして判定ステップでは、補正された物体色の色値と複数の判別用基準画像データとに基づいて、表示用シートの種別を判別する。
【００１６】
デジタルカメラの記録値からｓＲＧＢやＣＩＥＸＹＺなどの標準的な表色系の色値への変換が既知の場合には、本発明の画像判定方法では、変換補正ステップを標準化ステップ、物体色化ステップ、及び色み補正ステップの３つのステップから構成することが可能である。
【００１７】
標準化ステップでは、表示用シート画像特定ステップで特定した表示用シートに対応する画像部分の記録値と、基準マーク画像特定ステップで特定した基準マークに対応する画像部分の記録値とを、標準的な表色系に変換してそれぞれ変換値とする。デジタルカメラの記録値は、ＲＧＢ値またはｓＲＧＢ値である。そこで、標準化ステップでは、例えば、これらの記録値をＣＩＥ系のＸＹＺ値に表色値変換することができる。
【００１８】
記録値の変換値がＸＹＺ値の場合、この変換値は光源色としての色値である。そのため実照明の光源の輝度の影響を取り除くために、物体色化ステップでは、標準化ステップで得た基準マークに対応する画像部分の記録値の変換値に基づいて、表示用シートに対応する画像部分の記録値の変換値を、物体色の色値に変更する。
【００１９】
また物体色の色値は、実照明の色みの影響を含んでいる。そこで色み補正ステップでは、標準化ステップで得た基準マークに対応する画像部分の記録値の変換値に基づいて実照明の色みを推定する。そして色み補正ステップでは、この推定した実照明の色みと、判別用基準画像データを作成する際に使用する標準照明の色みとに基づいて、物体色の色値の色みを、標準照明下における見えを与えるように補正する。
【００２０】
そして判別ステップでは、色み補正された物体色の色値と複数の判別用基準画像データとに基づいて、表示用シートの種別を判別する。このようにすれば、実照明の輝度と色みの影響を除去して、表示用シートに対応する画像データ（補正された物体色の色値）と複数の判別用基準画像データとを比較することになるため、判定精度を高めることができる。また複数の判別用基準画像データは、標準照明下のものを用意しておけばよく、実照明の変化に対応して多数の判別用基準画像データを用意しておく必要はない。
【００２１】
また上記の方法とは逆に、標準照明下の複数の判別用基準画像データを実照明下の複数の判別用基準画像データに補正して、表示用シートの種別を判別するようにしてもよい。その場合には、色み補正ステップでは、標準化ステップで得た基準マークに対する画像部分の記録値の変換値に基づいて実照明の色みを推定し、この実照明の色みと標準照明の色みとに基づいて、複数の判別用基準画像データの色みを、デジタル撮影画像データを取得したときの実照明下における見えを与えるように補正する。そして判別ステップでは、物体色の色値と色み補正された複数の判別用基準画像データとに基づいて、表示用シートの種別を判別する。
【００２２】
なお看板に、複数個の基準マークが、表示シート上及び／または枠体上に分散して設けられている場合には、各基準マーク毎に実照明の状態が異なっている場合がある。例えば、看板の一部だけに太陽の光があたっている場合や、看板の一部が影になっている場合等である。このような場合には、標準化ステップでは、複数箇所の基準マークに対する画像部分の記録値をそれぞれ変換値に変換する。そして、複数の変換値の平均値または複数の変換値から多数決により決定した代表値を、物体色化ステップ及び色み補正ステップにおける変換値として用いればよい。
【００２３】
また表示用シート及び／または枠体上に、記録値が既知の１以上の有彩色を付した色み補正用基準マークが付されている場合には、基準マーク画像特定ステップでは、デジタル撮影画像データから色み補正用基準マークの画像部分も併せて特定する。そして色み補正ステップでは、色み補正用基準マークの画像部分の記録値と色み補正用基準マークの既知の物体色の色値とを更に考慮して、実照明の色みを推定する。このようにすれば、更に判定精度を高めることができる。
【００２４】
また撮影に使用したデジタルカメラが露出及びホワイトバランスを自動調節している場合で、撮影したデジタルカメラの機種が特定できる場合には、テーブル作成ステップにより用意したルックアップテーブルを用いて、変換補正を行うように変換補正ステップを構成する。この方法でも、表示用シート画像特定ステップ及び基準マーク画像特定ステップは、先に説明した方法と同じである。テーブル作成ステップでは、標準照明下で前記所定のデジタルカメラで予め撮影した物体色の色値が既知である色票群の撮影データに基づいて、記録値と物体色の色値との関係をテーブルにしたルックアップテーブルを作成する。そして変換補正ステップでは、表示用シート画像特定ステップで特定した表示用シートに対応する画像部分の記録値と基準マーク画像特定ステップで特定した基準マークに対応する画像部分の記録値を、ルックアップテーブルを用いて物体色の色値にそれぞれ変換する。露出及びホワイトバランスが自動調節されていて、事前にカメラの機種ごとに前述のルックアップテーブルが用意されていれば、この変換補正ステップでも実用上利用可能な物体色の色値を得ることができる。なおカメラの機種が判らない場合もある。そこで、このような場合には、標準的なルックアップテーブルを用意して、これを利用するようにすればよい。露出及びホワイトバランスが適正に自動調節されていれば、色みの補正は必要がない。精度をより高めたい場合には、変換補正ステップにより、基準マークに対応する画像部分の物体色の色値に基づいて、表示用シートに対応する画像部分の物体色の色値の色みを、標準照明下における見えを与えるように補正する。そして判定ステップでは、色み補正された表示用シートに対応する画像部分の物体色の色値と複数の判別用基準画像データとに基づいて、表示用シートの種別を判別する。この方法によれば、演算を必要とする標準化ステップや、物体色化ステップが不要になるので、判定動作が簡単になる。
【００２５】
また撮影に使用したデジタルカメラが露出及びホワイトバランスを自動調節している場合には、ニューラルネットを用いた本発明の更に別の画像判定方法を利用できる。この更に別の画像判定方法では、変換補正ステップを、ニューラルネットを用いて構成する。この方法を実施するためには、ニューラルネット準備ステップでは、標準照明下で撮影した物体色の色値が既知である色票群の撮影データに基づいて、記録値を物体色の色値に変換する変換関数を有するニューロンを備えたニューラルネットを準備する。具体的には、複数の判別用基準画像データを判別基準として、各種のデジタルカメラで撮影した多数のデジタル撮影画像データをニューラルネットに入力して学習を行うことにより、ニューラルネットに含まれる複数のニューロンの変換関数を決定する。適正な変換関数が定まれば、色みの補正を必要とすることなく、判定に利用できる物体色の色値を得ることができる。そこで変換補正ステップでは、表示用シート画像特定ステップで特定した表示用シートに対応する画像部分の記録値と、基準マーク画像特定ステップで特定した基準マークに対応する画像部分の記録値とを入力として、ニューラルネットを用いて、表示用シートに対応する画像部分の記録値を標準照明下における見えを与えるように色みを補正した物体色の色値に変換する。そして判定ステップでは、変換ステップにより得た表示用シートに対応する画像部分の物体色の色値と複数の判別用基準画像データとに基づいて、表示用シートの種別を判別する。ニューラルネットを用いた画像判定方法によれば、最初にニューラルネットを構築しさえすれば、後は、測定値の物体色の色値への変換を最も簡単に行える。
【００２６】
なおルックアップテーブルやニューラルネットを用いる場合においても、看板に、複数個の基準マークが、表示シート上及び／または枠体上に分散して設けられている場合には、変換補正ステップで多数決により決定した代表値を用いることができる。すなわち複数箇所の基準マークに対する画像部分の記録値の平均値または複数の記録値から多数決により決定した代表値を、変換補正ステップにおける基準マークに対応する記録値として用いることができる。
【発明の効果】
【００２７】
本発明の看板によれば、デジタル画像データ中の基準マークに対応する画像部分の記録値と前述の既知の無彩色の分光反射率とから、実照明の輝度と色みとを知ることができ、実照明の輝度と色みを用いて標準照明下における物体色画像のデータ又は実照明下の判別用基準画像データを得ることができる。その結果、標準照明下における物体色画像のデータ又は実照明下の判別用基準画像データを用いて画像判定を行うことが可能になり、画像判定精度を高めることができる。
【発明を実施するための最良の形態】
【００２８】
以下図面を参照して本発明の実施の形態を詳細に説明する。図１は、本発明の看板の一実施の形態の看板１を示す図である。図１に示した看板は、表示用シート２が装着されるシート装着部３と、シート装着部３の周囲を囲む枠体４とを有している。本実施の形態で用いる表示用シート２は、1枚の合成樹脂シートの上にインクジェット方式により広告等が印刷されたシートである。そしてシート装着部３は、枠体４の内側に位置して、表示用シート２が装着可能な板状を呈している。表示用シート２は、シート装着部３上に剥離可能な接着剤を用いて接合される。
【００２９】
枠体４は、シート装着部３よりも前方側に突出しており、横方向に対向する一対の縦フレーム部５及び６と、縦方向に対向する一対の横フレーム部７及び８とから構成されている。そして一対の縦フレーム部５及び６並びに一対の横フレーム部７及び８には、それぞれ基準マーク９乃至１６が付されている。基準マーク9及び１０は、縦フレーム部５と横フレーム部７との交差部を囲む２つの領域部分に設けられ、基準マーク１２及び１１は、縦フレーム部６と横フレーム部７との交差部を囲む２つの領域部分に設けられ、基準マーク１３及び１４は、縦フレーム部６と横フレーム部８との交差部を囲む２つの領域部分に設けられ、基準マーク１６及び１５は、縦フレーム部５と横フレーム部８との交差部を囲む２つの領域部分に設けられている。
【００３０】
基準マーク９乃至１６は、それぞれ既知の分光反射率を有する無彩色が付されて表示されている。本実施の形態では、分光反射率が１０％〜１００％の無彩色である灰色一色により、基準マーク９乃至１６がそれぞれ着色されている。明るさの変化が大きい屋外に設置される看板に対しては、分光反射率が２０％〜８０％の無彩色である灰色一色により、基準マーク９乃至１６をそれぞれ着色するのが好ましい。この範囲の分光反射率であれば、朝・昼・夕または晴天・曇り・雨天もしくは夜間照明下のいずれにおいても、後述する色みの補正精度をある程度のレベルで維持することができる。
【００３１】
この看板１のように、既知の分光反射率を有する無彩色（灰色）で表示された基準マーク９乃至１６が付されている看板を撮影対象とした場合には、デジタルカメラで撮影して得られるデジタル画像データから、基準マーク９乃至１６に対応する画像部分を特定することにより、枠体４に対応する画像部分またはシート装着部３に装着された表示用シート２に対応する画像部分を特定することができる。
【００３２】
図２（Ａ）乃至（Ｄ）は、それぞれ基準マークの表示位置を変えた他の実施の形態の看板の平面図である。図２（Ａ）の看板では、縦フレーム部５または６と横フレーム部７または８との交差部に、基準マーク１７乃至２０がそれぞれ付されている。また横フレーム部８には、測色値（記録値）が既知の4色（例えば、赤、青、黄色、緑）の有彩色をそれぞれ付した色み補正用基準マーク２１乃至２４が基準マーク１７乃至２０とは別に表示されている。このような色み補正用基準マーク２１乃至２４を看板に付しておけば、後述する色みの補正精度を高めることができる。
【００３３】
図２（Ｂ）の看板１では、枠体４の外面全体が既知の分光反射率を有する無彩色の灰色で着色されており、枠体４の外表面が基準マーク２５を構成している。図１並びに図２（Ａ）及び（Ｂ）の看板のように、基準マークを枠体４のみに付すと、表示用シート２に基準マークを付す制約がなくなるので、表示用シート２として基準マークを付した特別なものを用意する必要がない。
【００３４】
また図２（Ｃ）の看板では、表示用シート２の対角線上で対向する一対の角部に基準マーク２６及び２７が表示されている。そして一対の縦フレーム部５及び６並びに一対の横フレーム部７及び８には、色み補正用基準マーク２８乃至３１が分散して設けられている。さらに図２（Ｄ）の看板１では、枠体４の対角線上で対向する一対の角部（縦フレーム部と横フレーム部の交差部）に基準マーク３２及び３３が表示されており、また表示用シートの対角線上で対向する一対の角部に基準マーク３４及び３５が表示されている。
【００３５】
図２（Ａ）乃至（Ｄ）に示した各看板１のように、基準マークは、枠体４及び／または表示用シート２の予め定めた位置に設けることが可能である。基準マークを付す予め定めた位置とは、看板１をデジタルカメラで撮影して得られるデジタル画像データから基準マークを特定することが容易な位置であれば、枠体４及び／または表示用シート４の上のどのような位置であってもよい。
【００３６】
また上記各実施の形態の基準マークの形状は、矩形形状であるが、基準マークの形状はデジタル画像データ中から基準マークに対応する画像部分の特定が容易になる形状であれば、如何なる形状（丸、三角、四角、記号、シンボル等）であってもよい。また上記実施の形態では、基準マークに施される無彩色は、既知の分光反射率を有するものであれば、どのような無彩色でもよい。
【００３７】
次に、本発明の看板を撮影対象として得たデジタル画像データと、予め用意した標準照明下の複数の判別用基準画像データとに基づいて、看板１の表示用シート２の種別を判別する場合（即ちどのような表示が描かれている表示用シート２であるかを判別する場合）に用いる画像判定方法の実施の形態を説明する。本発明の画像判定方法の実施の形態では、その本質的なステップとして、表示用シート画像特定ステップと、基準マーク画像特定ステップと、変換補正ステップと判別ステップとを実効する。図３は、実施の形態の画像判定方法をコンピュータを用いて実施する場合に用いるプログラムのアルゴリズムを示すフローチャートである。表示用シート画像特定ステップ（ステップＳＴ１及びＳＴ２）では、デジタル撮影画像データから看板の枠体を特定し、同時に枠体内の表示用シートの画像部分を特定する。また基準マーク画像特定ステップＳＴ３では、デジタル撮影画像データから基準マークの画像部分を特定する。そして変換補正ステップＳＴ４では、表示用シート画像特定ステップＳＴ２で特定した表示用シートに対応する画像部分の記録値と基準マーク画像特定ステップＳＴ３で特定した基準マークに対応する画像部分の記録値とを用いて、表示用シートに対応する画像部分の記録値を物体色の色値に変更する。そしてこのステップＳＴ４では、この物体色の色値を標準照明下における見えを与えるように補正をする。概念的に言えば、このステップＳＴ４では、撮影画像から判別用の補正された撮影画像を作成している。変換補正ステップＳＴ４は、具体的には、後に詳しく説明するように、種々の方法により実現が可能である。そして判定ステップＳＴ５では、補正された物体色の色値（判別用の補正された撮影画像データ）と複数の判別用基準画像データとに基づいて、表示用シートの種別を判別する。概念的に言えば、この判定ステップＳＴ５では、判別用基準画像データから、判別用の補正された撮影画像に適合した画像を判別して、画像の種別を判定する。
【００３８】
図４乃至図６を用いて、画像判定方法の具体例を説明する。この画像判定方法では、変換補正ステップを標準化ステップと、物体色化ステップと、色み補正ステップとから構成する。その他は、図３のフローチャートのステップと同じである。図５は、図４の一部のステップの詳細を示すフローチャートであり、図６はアルゴリズムの流れを図式化した図である。なお図６には、看板の画像に対して看板の構成部分に対応する画像部分に対して図２（Ａ）に示した符号に´を付した符号を付してある。
【００３９】
図４のステップＳＴ１では、デジタル画像撮影データを取得する。デジタルカメラから得られるデジタル撮影画像データは、通常ＲＧＢ値又はｓＲＧＢ値で表されている。ステップＳＴ２では、デジタル撮影画像データ中から看板の枠体を検出する。このステップＳＴ２については、画像中から特定の領域を抽出する公知の抽出技術を用いればよい。例えば、まず撮影する際に、撮影対象ができるだけ画像の中心に位置するようにして、しかも画面中にできるだけ撮影対象が大きく写るように撮影するようにする。そして公知の抽出技術を適用して枠体を検出する。このようにすると枠体に対応する画像部分４´の抽出精度が大幅に高くなる。そしてステップＳＴ３では、画像中から基準マークに対応する画像部分１９´（以下代表的に、一つの画像部分の符号１９´を使用する）を検出する。基準マークは、前述のように、枠体及び／または表示用シート上の予め定めた位置に設けるため、枠体の特定がなされれば、自動的に基準マークの検出または特定は行うことができる。ステップＳＴ２によって、デジタル撮影画像データから看板１の枠体４に対応する画像部分４´を特定し、枠体４内の表示用シート２の画像部分２´を特定することができる（表示用シート画像特定ステップ）。またステップＳＴ３によって、デジタル撮影画像データから基準マークの画像部分１９´を特定することができる（基準マーク画像特定ステップ）。なお表示用シート画像特定ステップと基準マーク画像特定ステップとは、別個に行ってもよいが、同時に行ってもよい。特に、本実施の形態の看板１のように、枠体４に設ける基準マークの位置を枠体４の特定に利用可能な位置とすれば、両ステップを同時に実行することは可能である。
【００４０】
図４のステップＳＴ４は、変換補正ステップであり、ステップＳＴ４Ａは、標準化ステップと物体色化ステップである。このステップＳＴ４Ａでは、表示用シート画像特定ステップ（ＳＴ２）で特定した表示用シート２に対応する画像部分2´の記録値と、基準マーク画像特定ステップ（ＳＴ３）で特定した基準マークに対応する画像部分１９´の記録値とを、標準的な表色系の変換値である変換値ＸＹＺ値にそれぞれ変換する。なお後に説明する図６においては、表示用シートに対応する画像部分2´の記録値をＲＧＢと示し、基準マークの記録値をＲ０Ｇ０Ｂ０と表示し、ＲＧＢの変換値をＸＹＺとして示し、Ｒ０Ｇ０Ｂ０の変換値をＸ０Ｙ０Ｚ０として示している。前述のように、デジタルカメラの記録値は、ＲＧＢ値またはｓＲＧＢ値である。そこで標準化ステップでは、これらの記録値を標準的な表色系のＣＩＥＸＹＺの変換値に表色変換する。本実施の形態では、図５にステップＳＴ４Ａを詳細に示したステップＳＴ４１及び４２に示すように、記録値のＲＧＢ値をＣＩＥ系の光源色ＸＹＺ値に変換する。なおこのｓＲＧＢとＣＩＥＸＹＺの相互変換についてのアルゴリズムは、ＩＥＣ６１９６６−２−１「Multimedia systems and equipment-Colour measure and management-Part 2-1:Colour management-Default RGB colour space-sRGB」に記載されているので省略する。
【００４１】
ステップＳＴ４１及び４２における記録値の変換値（ＸＹＺ及びＸ０Ｙ０Ｚ０）は、光源色としての変換値であるため、実照明の光源の輝度の影響を取り除くために、物体色化する必要がある。そこで図５のステップＳＴ４３の物体色化ステップでは、標準化ステップ（ＳＴ４１及び４２）で得た基準マークに対応する画像部分１９´の記録値の変換値（光源光Ｘ０Ｙ０Ｚ０値）中の輝度（Ｙ０値）と基準マークの既知の分光反射率γ０とを用いて、表示用シートに対応する画像部分2´の記録値の変換値（光源色ＸＹＺ）を、物体色を示す物体色の色値（ＸＹＺｏｂｊ）に変換する。なおこの変換も既に周知であるから詳しい説明は省略する。ちなみ物体色の色値Ｘｏｂｊは、Ｘｏｂｊ＝（γ０Ｘ）／Ｙ０の式によって演算によって求めることができる。
【００４２】
また物体色の色値は、実照明の色みの影響を含んでいる。そこで図４のステップＳＴ４Ｂの色み補正ステップでは、撮影画像（表示用シートに対応する画像部分）の色み補正を行う。まず図５のステップＳＴ４４に示すように、標準化ステップ（ステップＳＴ４Ａ）で得た基準マークに対応する画像部分１９´の記録値の変換値Ｘ０Ｙ０Ｚ０に基づいて実照明の色みｘ０ｙ０を推定する。具体的には、色みｘ０＝Ｘ０／（Ｘ０＋Ｙ０＋Ｚ０）とｙ０＝Ｙ０／（Ｘ０＋Ｙ０＋Ｚ０）の式によって色みを求める。
【００４３】
そして色み補正ステップＳＴ４Ｂ（図５のステップＳＴ４４及びＳＴ４５）では、この推定した実照明の色みｘ０ｙ０と、判別用基準画像データを作成する際に使用する既知の標準照明の色みｘｎｙｎとに基づいて、表示用シートに対応する画像部分２´の物体色の色値（ＸＹＺｏｂｊ）を、標準照明下における見えを与える（標準照明下で撮影した画像のように見える状態にする）ように補正する。
【００４４】
図４のステップＳＴ５の判別ステップでは、色み補正された物体色の色値（ＸＹＺｏｂｊ）と予め用意した既知の標準照明下で得た複数の判別用基準画像データとに基づいて、表示用シートの種別を判別する。なお本実施の形態では、複数の判別用基準画像データとしては、インクジェット印刷で表示用シートの上に印刷を行う際に使用する画像データをそのまま使用している。
【００４５】
この判別ステップにおける判別方法としては、前述の特許文献１及び２等に示された公知の種々の画像判定技術で採用している公知の判別技術を用いることができる。
【００４６】
本実施の形態の画像判定方法によれば、実照明の輝度と色みの影響を除去して、表示用シート２に対応する画像データ（補正された物体色の色値）と複数の判別用基準画像データとを比較することになるため、実照明の輝度及び色みの影響を考慮していない従来の画像判定技術と比べて、判定精度を高めることができる。また複数の判別用基準画像データは、標準照明下のものを用意しておけばよく、実照明の変化に対応して多数の判別用基準画像データを用意しておく必要はない。
【００４７】
また上記の方法とは逆に、標準照明下の複数の判別用基準画像データを実照明下の複数の判別用基準画像データに補正して、表示用シートの種別を判別するようにしてもよい。図６はこの場合の処理の流れを示す図である。図７には、図６と同様の考え方で符号及び記号を表記してある。図７に示した方法の場合には、前述の色み補正ステップでは、標準化ステップで得た基準マークに対する画像部分１９´の記録値の変換値に基づいて実照明の色みｘ０ｙ０を推定し、この実照明の色みｘ０ｙ０と標準照明の色みｘｎｙｎとに基づいて、複数の判別用基準画像データの色みを、デジタル撮影画像データを取得したときの実照明下における見えを与えるように（判別用基準画像データに基く再生画像が実照明下で取得した画像と同じようにみえるように）補正する。そして判別ステップでは、物体色の色値と色み補正された複数の判別用基準画像データとに基づいて、表示用シートの種別を判別する。その他は、図４乃至図６で説明した先の方法と同じである。
【００４８】
また図８は、撮影に使用したデジタルカメラが適正に露出及びホワイトバランスを自動調節している場合に使用できる本発明の画像判定方法の判定ステップ前までの流れを示している。この方法でも、表示用シート画像特定ステップ及び基準マーク画像特定ステップは、先に説明した方法と同じである。そしてこの方法では、判定ステップでの判定のために、標準照明下で所定のデジタルカメラで予め撮影した複数の判別用基準画像データを用意する。テーブル作成ステップでは、物体色の色値が既知である色票群の撮影データに基づいて、記録値と物体色の色値との関係をテーブルにしたルックアップテーブルＬＵＴを作成する。この例では、図８においては、表示用シートに対応する画像部分2´の記録値をＲＧＢと示し、基準マークの記録値をＲ０Ｇ０Ｂ０と表示し、ＲＧＢのＬ＊ａ＊ｂ＊値への変換値をＬ＊ａ＊ｂ＊として示し、Ｒ０Ｇ０Ｂ０の変換値をＬ０＊ａ０＊ｂ０＊として示している。前述のように、デジタルカメラの記録値は、ＲＧＢ値またはｓＲＧＢ値である。ルックアップテーブルＬＵＴには、これらの記録値（ＲＧＢ値）を標準的な表色系であるＬ＊ａ＊ｂ＊値等の変換値に表色変換するために使用される対応データがテーブル形式で予め記録されている。そこで変換ステップでは、表示用シート画像特定ステップで特定した表示用シートに対応する画像部分２´の記録値ＲＧＢと基準マーク画像特定ステップで特定した基準マーク１７´〜１９´に対応する画像部分の記録値Ｒ０Ｇ０Ｂ０を、ルックアップテーブルＬＵＴを用いて物体色の色値Ｌ＊ａ＊ｂ＊及びＬ０＊ａ０＊ｂ０＊にそれぞれ変換する。露出及びホワイトバランスが自動調節されていて、前述のルックアップテーブルが用意されていれば、この変換ステップでも実用上利用可能な物体色の色値を得ることができる。露出及びホワイトバランスが自動調節されていれば、色みの補正は必要がない。そこでこの方法の場合には、色み補正ステップ（色み補正）により、変換ステップで得た基準マークに対応する画像部分の物体色の色値Ｌ０＊ａ０＊ｂ０＊に基づいて、変換ステップで得た表示用シートに対応する画像部分の物体色の色値Ｌ＊ａ＊ｂ＊の色みを、標準照明下における見えを与える値Ｌ＊´ａ＊´ｂ＊´に補正して、表示用シートの判別用補正画像を得る。色みの補正は、ａ＊´＝ａ＊−ａ０＊の補正式と、ｂ＊´＝
ｂ＊−ｂ０＊の補正式とを用いることにより行われる。尚、撮影に使用したデジタルカメラが適正に露出及びホワイトバランスを自動調節している場合で、撮影したデジタルカメラの機種が特定できる場合は、機種毎にルックアップテーブルを用意すれば、より精度良く物体色の色値を得ることができる。
【００４９】
なおＬ＊´はＬ０＊と同じである。このようにルックアップテーブルＬＵＴを用いると、演算を必要とする標準化ステップや、色み補正ステップが不要になるので、判定動作が簡単になる。
【００５０】
また撮影に使用したデジタルカメラが適正に露出及びホワイトバランスを自動調節している場合には、図９に示すように、ニューラルネットを用いた画像判定方法を利用することができる。図９は、ニューラルネットを用いた画像判定方法の判定ステップ前までの流れを示している。この方法を実施するためには、標準照明下で所定のデジタルカメラで看板１´を予め撮影した複数の判別用基準画像データを使用する。まずニューラルネット準備ステップにおいて、複数の判別用基準画像データに基づいて、記録値を標準照明下における物体色を示す物体色の色値に変換する変換関数を有するニューロンを備えたニューラルネットを準備する。具体的には、複数の判別用基準画像データを判別基準として、各種のデジタルカメラで撮影した多数のデジタル撮影画像データをニューラルネットに入力して学習を行うことにより、ニューラルネットに含まれる複数のニューロンの変換関数を決定する。そして適正な変換関数を有する複数のニューロンを備えたニューラルネットの入力として、表示用シート画像特定ステップで特定した表示用シートに対応する画像部分の記録値ＲＧＢ、基準マーク画像特定ステップで特定した基準マークに対応する画像部分の記録値Ｒ０Ｇ０Ｂ０用いる。すでにニューラルネットは、色みの補正を必要とすることなく（色みの補正をニューラルネットで行っていると考えることもできる）、判定に利用できる物体色の色値を出力するように構成されているため、ニューラルネットの出力からは色みが補正された物体色の色値Ｌ＊´ａ＊´ｂ＊´が出力される。その結果、表示用シートに対応する画像部分２´の記録値を標準照明下における見えを与えるように色みを補正した物体色を示す物体色の色値Ｌ＊´ａ＊´ｂ＊´を簡単に得ることができる。そして後の判定ステップでは、変換ステップにより得た表示用シートに対応する画像部分の物体色の色値と複数の判別用基準画像データとに基づいて、表示用シートの種別を判別する。このようなニューラルネットを用いた画像判定方法によれば、最初にニューラルネットを構築しさえすれば、後は、測定値の物体色の色値への変換を最も簡単に行える。尚、撮影に使用したデジタルカメラが適正に露出及びホワイトバランスを自動調節している場合で、撮影したデジタルカメラの機種が特定できる場合は、機種毎にニューラルネットを構築することで、より精度良く物体色の色値への変換をすることができる。
【００５１】
なお図２（Ａ）、（Ｃ）及び（Ｄ）に示すように、看板１に、複数個の基準マーク１７〜１９等が、表示シート２上及び／または枠体４上に分散して設けられている場合には、各基準マーク毎に実照明の状態が異なっている場合がある。例えば、看板１の一部だけに太陽の光があたっている場合や、看板１の一部が影になっている場合等である。このような場合には、前述の標準化ステップでは、複数箇所の基準マーク１７〜１９等に対する画像部分１７´〜１９´の記録値をそれぞれ変換値に変換する。そして、複数の変換値の平均値または複数の変換値から多数決により決定した代表値を、物体色化ステップ及び色み補正ステップにおける変換値として用いることができる。
【００５２】
また図２（Ａ）及び（Ｃ）に示したように、表示用シート２及び／または枠体４上に、物体色の色値が既知の１以上の有彩色を付した色み補正用基準マーク２１〜２４及び２８〜３１が付されている場合には、基準マーク画像特定ステップでは、デジタル撮影画像データから色み補正用基準マーク２１〜２４及び２８〜３１の画像部分も併せて特定する。そして色み補正ステップでは、色み補正用基準マーク２１〜２４及び２８〜３１の画像部分の記録値と色み補正用基準マークの既知の記録値とを更に考慮して、実照明の色みを推定することができる。このようにすれば、更に判定精度を高めることができる。なおこの色み補正に関しては、種々の公知の方法を用いればよい。
【図面の簡単な説明】
【００５３】
【図１】本発明の看板の一実施の形態の看板１の構成を示す図である。
【図２】（Ａ）乃至（Ｄ）は、それぞれ基準マークの表示位置を変えた他の実施の形態の看板の平面図である。
【図３】本発明の画像判定方法の基本的な実施の形態をコンピュータを用いて実施する場合に用いるプログラムのアルゴリズムを示すフローチャートである。
【図４】本発明の画像判定方法の実施の形態の一例をコンピュータを用いて実施する場合に用いるプログラムのアルゴリズムを示すフローチャートである。
【図５】図４の一部のステップの詳細を示すフローチャートである。
【図６】図４及び図５のアルゴリズムの流れを図式化した図である。
【図７】本発明の画像判定方法の他の実施の形態のアルゴリズムの流れを図６と同様にして図式化した図である。
【図８】本発明の画像判定方法の他の実施の形態のアルゴリズムの流れを図６と同様にして図式化した図である。
【図９】本発明の画像判定方法のさらに別の実施の形態のアルゴリズムの流れを図６と同様にして図式化した図である。
【符号の説明】
【００５４】
１ 看板
２ 表示用シート
３ シート装着部
４ 枠体
５，６ 縦フレーム部
７，８ 横フレーム部
９〜１６，１７〜２０，２５〜２７，３２〜３５ 基準マーク
２１〜２４，２８〜３１ 色み補正用基準マーク
【特許請求の範囲】
【請求項１】
表示用シートが装着されるシート装着部と、前記シート装着部の周囲を囲む枠体とを有する看板であって、
前記表示用シート及び／または前記枠体の表面上の予め定めた位置に、既知の分光反射率を有する無彩色で表示された基準マークが付されていることを特徴とする看板。
【請求項２】
前記基準マークは前記枠体に付されており、
前記枠体は横方向に対向する一対の縦フレーム部と、縦方向に対向する一対の横フレーム部とを備えており、
前記一対の縦フレーム部及び一対の横フレーム部のそれぞれに、前記基準マークが付されていることを特徴とする請求項１に記載の看板。
【請求項３】
前記縦フレーム部と前記横フレーム部との交差部を囲む２つの領域部分には、それぞれ前記基準マークが付されている請求項２に記載の看板。
【請求項４】
前記基準マークは前記枠体に付されており、
前記枠体は横方向に対向する一対の縦フレーム部と、縦方向に対向する一対の横フレーム部とを備えており、
前記縦フレーム部と前記横フレーム部との交差部に、前記基準マークが付されていることを特徴とする請求項１に記載の看板。
【請求項５】
前記表示用シート及び／または前記枠体上に、物体色の色値が既知の１以上の有彩色を付した色み補正用基準マークが前記基準マークとは別に表示されていることを特徴とする請求項１に記載の看板。
【請求項６】
表示用シートが装着されるシート装着部と、前記シート装着部の周囲を囲む枠体とを有し、前記表示用シート及び／または前記枠体の表面上の予め定めた位置に、既知の分光反射率を有する無彩色で表示された基準マークが付されている看板を撮影して得たデジタル撮影画像データと、予め用意した標準照明下の複数の判別用基準画像データとに基づいて、前記表示用シートの種別を判別するために、
前記デジタル撮影画像データから前記枠体を特定し、前記枠体内の前記表示用シートの画像部分を特定する表示用シート画像特定ステップと、
前記デジタル撮影画像データから前記基準マークの画像部分を特定する基準マーク画像特定ステップと、
前記表示用シート画像特定ステップで特定した前記表示用シートに対応する画像部分の記録値と前記基準マーク画像特定ステップで特定した前記基準マークに対応する画像部分の記録値とを用いて、前記表示用シートに対応する画像部分の記録値を物体色の色値に変換し、該物体色の色値を前記標準照明下における見えを与えるように補正をする変換補正ステップと、
補正された物体色の色値と前記複数の判別用基準画像データとに基づいて、前記表示用シートの種別を判別する判別ステップとを実行することを特徴とする画像判定方法
【請求項７】
表示用シートが装着されるシート装着部と、前記シート装着部の周囲を囲む枠体とを有し、前記表示用シート及び／または前記枠体の表面上の予め定めた位置に、既知の分光反射率を有する無彩色で表示された基準マークが付されている看板を撮影して得たデジタル撮影画像データと、予め用意した標準照明下の複数の判別用基準画像データとに基づいて、前記表示用シートの種別を判別するために、
前記デジタル撮影画像データから前記枠体を特定し、前記枠体内の前記表示用シートの画像部分を特定する表示用シート画像特定ステップと、
前記デジタル撮影画像データから前記基準マークの画像部分を特定する基準マーク画像特定ステップと、
前記表示用シート画像特定ステップで特定した前記表示用シートに対応する画像部分の記録値と前記基準マーク画像特定ステップで特定した前記基準マークに対応する画像部分の記録値とを、標準的な表色系に変換してそれぞれ変換値とし、前記基準マークに対応する画像部分の記録値の前記変換値に基づいて、前記表示用シートに対応する画像部分の記録値の前記変換値を物体色の色値に変更し、前記基準マークに対応する画像部分の記録値の前記変換値に基づいて実照明の色みを推定し、前記実照明の色みと標準照明の色みとに基づいて、前記物体色の色値の色みを、前記標準照明下における見えを与えるように補正する変換補正ステップと、
色み補正された前記物体色の色値と前記複数の判別用基準画像データとに基づいて、前記表示用シートの種別を判別する判別ステップとを実行することを特徴とする画像判定方法
【請求項８】
表示用シートが装着されるシート装着部と、前記シート装着部の周囲を囲む枠体とを有し、前記表示用シート及び／または前記枠体の表面上の予め定めた位置に、既知の分光反射率を有する無彩色で表示された基準マークが付されている看板を撮影して得たデジタル撮影画像データと、予め用意した標準照明下の複数の判別用基準画像データとに基づいて、前記表示用シートの種別を判別するために、
前記デジタル撮影画像データから前記枠体を特定し、前記枠体内の前記表示用シートの画像部分を特定する表示用シート画像特定ステップと、
前記デジタル撮影画像データから前記基準マークに対応する画像部分を特定する基準マーク画像特定ステップと、
前記表示用シート画像特定ステップで特定した前記表示用シートに対応する画像部分の記録値と前記基準マーク画像特定ステップで特定した前記基準マークに対応する画像部分の記録値とを、標準的な表色系に変換してそれぞれ変換値とし、前記基準マークに対応する画像部分の記録値の前記変換値に基づいて、前記表示用シートに対応する画像部分の記録値の変換値を、物体色を示す物体色の色値に変更し、前記基準マークに対する画像部分の記録値の前記変換値に基づいて実照明の色みを推定し、前記実照明の色みと標準照明の色みとに基づいて、前記複数の判別用基準画像データの色みを、前記デジタル撮影画像データを取得したときの前記実照明下における見えを与えるように補正する変換補正ステップと、
前記物体色の色値と色み補正された前記複数の判別用基準画像データとに基づいて、前記表示用シートの種別を判別する判別ステップとを実行することを特徴とする画像判定方法。
【請求項９】
前記看板には、複数個の前記基準マークが、前記表示シート上及び／または前記枠体上に分散して設けられており、
前記変換補正ステップでは、複数箇所の前記基準マークに対する画像部分の記録値をそれぞれ前記変換値に変換し、複数の変換値の平均値または複数の変換値から多数決により決定した代表値を、前記変換補正ステップにおける前記変換値として用いることを特徴とする請求項７または８に記載の画像判定方法。
【請求項１０】
前記表示用シート及び／または前記枠体上に、記録値が既知の１以上の有彩色を付した色み補正用基準マークを表示しておき、
前記基準マーク画像特定ステップでは、前記デジタル撮影画像データから前記色み補正用基準マークの画像部分も併せて特定し、
前記変換補正ステップでは、前記色み補正用基準マークの画像部分の記録値と前記色み補正用基準マークの既知の前記物体色の色値とを更に考慮して、前記実照明の色みを推定することを特徴とする請求項７または８に記載の画像判定方法。
【請求項１１】
前記判別用基準画像データが、前記表示用シートを印刷する際に用いるデジタル画像データである請求項７または８に記載の画像判定方法。
【請求項１２】
表示用シートが装着されるシート装着部と、前記シート装着部の周囲を囲む枠体とを有し、前記表示用シート及び／または前記枠体の表面上の予め定めた位置に、既知の分光反射率を有する無彩色で表示された基準マークが付されている看板を、露出及びホワイトバランスを自動調節する所定のデジタルカメラで撮影して得たデジタル撮影画像データと、予め用意した標準照明下の複数の判別用基準画像データとに基づいて、前記表示用シートの種別を判別するために、
標準照明下で前記所定のデジタルカメラで予め撮影した、物体色の色値が既知である色票群の撮影データに基づいて、記録値と物体色の色値との関係をテーブルにしたルックアップテーブルを作成するテーブル作成ステップと、
前記デジタル撮影画像データから前記枠体を特定し、前記枠体内の前記表示用シートの画像部分を特定する表示用シート画像特定ステップと、
前記デジタル撮影画像データから前記基準マークの画像部分を特定する基準マーク画像特定ステップと、
前記表示用シート画像特定ステップで特定した前記表示用シートに対応する画像部分の記録値と前記基準マーク画像特定ステップで特定した前記基準マークに対応する画像部分の記録値を、前記ルックアップテーブルを用いて物体色の色値にそれぞれ変換し、前記基準マークに対応する画像部分の前記物体色の色値に基づいて、前記表示用シートに対応する画像部分の前記物体色の色値の色みを、前記標準照明下における見えを与えるように補正する変換補正ステップと、
色み補正された前記表示用シートに対応する画像部分の前記物体色の色値と前記複数の判別用基準画像データとに基づいて、前記表示用シートの種別を判別する判別ステップとを実行することを特徴とする画像判定方法
【請求項１３】
表示用シートが装着されるシート装着部と、前記シート装着部の周囲を囲む枠体とを有し、前記表示用シート及び／または前記枠体の表面上の予め定めた位置に、既知の分光反射率を有する無彩色で表示された基準マークが付されている看板を、露出及びホワイトバランスを自動調節する所定のデジタルカメラで撮影して得たデジタル撮影画像データと、予め用意した標準照明下の複数の判別用基準画像データとに基づいて、前記表示用シートの種別を判別するために、
標準照明下で前記所定のデジタルカメラで予め撮影した物体色の色値が既知である色票群の撮影データに基づいて、記録値を前記標準表明下における物体色を示す物体色の色値に変換する変換関数を有するニューロンを備えたニューラルネットを準備するニューラルネット準備ステップと、
前記デジタル撮影画像データから前記枠体を特定し、前記枠体内の前記表示用シートの画像部分を特定する表示用シート画像特定ステップと、
前記デジタル撮影画像データから前記基準マークの画像部分を特定する基準マーク画像特定ステップと、
前記表示用シート画像特定ステップで特定した前記表示用シートに対応する画像部分の記録値と前記基準マーク画像特定ステップで特定した前記基準マークに対応する画像部分の記録値とを入力として、前記ニューラルネットを用いて、前記表示用シートに対応する画像部分の記録値を前記標準照明下における見えを与えるように色みを補正した物体色を示す物体色の色値に変換する変換補正ステップと、
前記変換補正ステップにより得た前記表示用シートに対応する画像部分の前記物体色の色値と前記複数の判別用基準画像データとに基づいて、前記表示用シートの種別を判別する判別ステップとを実行することを特徴とする画像判定方法
【請求項１４】
前記看板には、複数個の前記基準マークが、前記表示シート上及び／または前記枠体上に分散して設けられており、
前記変換補正ステップでは、複数箇所の前記基準マークに対する画像部分の記録値の平均値または複数の記録値から多数決により決定した代表値を、前記変換補正ステップにおける前記基準マークに対応する記録値として用いることを特徴とする請求項１２または１３に記載の画像判定方法。
【請求項１】
表示用シートが装着されるシート装着部と、前記シート装着部の周囲を囲む枠体とを有する看板であって、
前記表示用シート及び／または前記枠体の表面上の予め定めた位置に、既知の分光反射率を有する無彩色で表示された基準マークが付されていることを特徴とする看板。
【請求項２】
前記基準マークは前記枠体に付されており、
前記枠体は横方向に対向する一対の縦フレーム部と、縦方向に対向する一対の横フレーム部とを備えており、
前記一対の縦フレーム部及び一対の横フレーム部のそれぞれに、前記基準マークが付されていることを特徴とする請求項１に記載の看板。
【請求項３】
前記縦フレーム部と前記横フレーム部との交差部を囲む２つの領域部分には、それぞれ前記基準マークが付されている請求項２に記載の看板。
【請求項４】
前記基準マークは前記枠体に付されており、
前記枠体は横方向に対向する一対の縦フレーム部と、縦方向に対向する一対の横フレーム部とを備えており、
前記縦フレーム部と前記横フレーム部との交差部に、前記基準マークが付されていることを特徴とする請求項１に記載の看板。
【請求項５】
前記表示用シート及び／または前記枠体上に、物体色の色値が既知の１以上の有彩色を付した色み補正用基準マークが前記基準マークとは別に表示されていることを特徴とする請求項１に記載の看板。
【請求項６】
表示用シートが装着されるシート装着部と、前記シート装着部の周囲を囲む枠体とを有し、前記表示用シート及び／または前記枠体の表面上の予め定めた位置に、既知の分光反射率を有する無彩色で表示された基準マークが付されている看板を撮影して得たデジタル撮影画像データと、予め用意した標準照明下の複数の判別用基準画像データとに基づいて、前記表示用シートの種別を判別するために、
前記デジタル撮影画像データから前記枠体を特定し、前記枠体内の前記表示用シートの画像部分を特定する表示用シート画像特定ステップと、
前記デジタル撮影画像データから前記基準マークの画像部分を特定する基準マーク画像特定ステップと、
前記表示用シート画像特定ステップで特定した前記表示用シートに対応する画像部分の記録値と前記基準マーク画像特定ステップで特定した前記基準マークに対応する画像部分の記録値とを用いて、前記表示用シートに対応する画像部分の記録値を物体色の色値に変換し、該物体色の色値を前記標準照明下における見えを与えるように補正をする変換補正ステップと、
補正された物体色の色値と前記複数の判別用基準画像データとに基づいて、前記表示用シートの種別を判別する判別ステップとを実行することを特徴とする画像判定方法
【請求項７】
表示用シートが装着されるシート装着部と、前記シート装着部の周囲を囲む枠体とを有し、前記表示用シート及び／または前記枠体の表面上の予め定めた位置に、既知の分光反射率を有する無彩色で表示された基準マークが付されている看板を撮影して得たデジタル撮影画像データと、予め用意した標準照明下の複数の判別用基準画像データとに基づいて、前記表示用シートの種別を判別するために、
前記デジタル撮影画像データから前記枠体を特定し、前記枠体内の前記表示用シートの画像部分を特定する表示用シート画像特定ステップと、
前記デジタル撮影画像データから前記基準マークの画像部分を特定する基準マーク画像特定ステップと、
前記表示用シート画像特定ステップで特定した前記表示用シートに対応する画像部分の記録値と前記基準マーク画像特定ステップで特定した前記基準マークに対応する画像部分の記録値とを、標準的な表色系に変換してそれぞれ変換値とし、前記基準マークに対応する画像部分の記録値の前記変換値に基づいて、前記表示用シートに対応する画像部分の記録値の前記変換値を物体色の色値に変更し、前記基準マークに対応する画像部分の記録値の前記変換値に基づいて実照明の色みを推定し、前記実照明の色みと標準照明の色みとに基づいて、前記物体色の色値の色みを、前記標準照明下における見えを与えるように補正する変換補正ステップと、
色み補正された前記物体色の色値と前記複数の判別用基準画像データとに基づいて、前記表示用シートの種別を判別する判別ステップとを実行することを特徴とする画像判定方法
【請求項８】
表示用シートが装着されるシート装着部と、前記シート装着部の周囲を囲む枠体とを有し、前記表示用シート及び／または前記枠体の表面上の予め定めた位置に、既知の分光反射率を有する無彩色で表示された基準マークが付されている看板を撮影して得たデジタル撮影画像データと、予め用意した標準照明下の複数の判別用基準画像データとに基づいて、前記表示用シートの種別を判別するために、
前記デジタル撮影画像データから前記枠体を特定し、前記枠体内の前記表示用シートの画像部分を特定する表示用シート画像特定ステップと、
前記デジタル撮影画像データから前記基準マークに対応する画像部分を特定する基準マーク画像特定ステップと、
前記表示用シート画像特定ステップで特定した前記表示用シートに対応する画像部分の記録値と前記基準マーク画像特定ステップで特定した前記基準マークに対応する画像部分の記録値とを、標準的な表色系に変換してそれぞれ変換値とし、前記基準マークに対応する画像部分の記録値の前記変換値に基づいて、前記表示用シートに対応する画像部分の記録値の変換値を、物体色を示す物体色の色値に変更し、前記基準マークに対する画像部分の記録値の前記変換値に基づいて実照明の色みを推定し、前記実照明の色みと標準照明の色みとに基づいて、前記複数の判別用基準画像データの色みを、前記デジタル撮影画像データを取得したときの前記実照明下における見えを与えるように補正する変換補正ステップと、
前記物体色の色値と色み補正された前記複数の判別用基準画像データとに基づいて、前記表示用シートの種別を判別する判別ステップとを実行することを特徴とする画像判定方法。
【請求項９】
前記看板には、複数個の前記基準マークが、前記表示シート上及び／または前記枠体上に分散して設けられており、
前記変換補正ステップでは、複数箇所の前記基準マークに対する画像部分の記録値をそれぞれ前記変換値に変換し、複数の変換値の平均値または複数の変換値から多数決により決定した代表値を、前記変換補正ステップにおける前記変換値として用いることを特徴とする請求項７または８に記載の画像判定方法。
【請求項１０】
前記表示用シート及び／または前記枠体上に、記録値が既知の１以上の有彩色を付した色み補正用基準マークを表示しておき、
前記基準マーク画像特定ステップでは、前記デジタル撮影画像データから前記色み補正用基準マークの画像部分も併せて特定し、
前記変換補正ステップでは、前記色み補正用基準マークの画像部分の記録値と前記色み補正用基準マークの既知の前記物体色の色値とを更に考慮して、前記実照明の色みを推定することを特徴とする請求項７または８に記載の画像判定方法。
【請求項１１】
前記判別用基準画像データが、前記表示用シートを印刷する際に用いるデジタル画像データである請求項７または８に記載の画像判定方法。
【請求項１２】
表示用シートが装着されるシート装着部と、前記シート装着部の周囲を囲む枠体とを有し、前記表示用シート及び／または前記枠体の表面上の予め定めた位置に、既知の分光反射率を有する無彩色で表示された基準マークが付されている看板を、露出及びホワイトバランスを自動調節する所定のデジタルカメラで撮影して得たデジタル撮影画像データと、予め用意した標準照明下の複数の判別用基準画像データとに基づいて、前記表示用シートの種別を判別するために、
標準照明下で前記所定のデジタルカメラで予め撮影した、物体色の色値が既知である色票群の撮影データに基づいて、記録値と物体色の色値との関係をテーブルにしたルックアップテーブルを作成するテーブル作成ステップと、
前記デジタル撮影画像データから前記枠体を特定し、前記枠体内の前記表示用シートの画像部分を特定する表示用シート画像特定ステップと、
前記デジタル撮影画像データから前記基準マークの画像部分を特定する基準マーク画像特定ステップと、
前記表示用シート画像特定ステップで特定した前記表示用シートに対応する画像部分の記録値と前記基準マーク画像特定ステップで特定した前記基準マークに対応する画像部分の記録値を、前記ルックアップテーブルを用いて物体色の色値にそれぞれ変換し、前記基準マークに対応する画像部分の前記物体色の色値に基づいて、前記表示用シートに対応する画像部分の前記物体色の色値の色みを、前記標準照明下における見えを与えるように補正する変換補正ステップと、
色み補正された前記表示用シートに対応する画像部分の前記物体色の色値と前記複数の判別用基準画像データとに基づいて、前記表示用シートの種別を判別する判別ステップとを実行することを特徴とする画像判定方法
【請求項１３】
表示用シートが装着されるシート装着部と、前記シート装着部の周囲を囲む枠体とを有し、前記表示用シート及び／または前記枠体の表面上の予め定めた位置に、既知の分光反射率を有する無彩色で表示された基準マークが付されている看板を、露出及びホワイトバランスを自動調節する所定のデジタルカメラで撮影して得たデジタル撮影画像データと、予め用意した標準照明下の複数の判別用基準画像データとに基づいて、前記表示用シートの種別を判別するために、
標準照明下で前記所定のデジタルカメラで予め撮影した物体色の色値が既知である色票群の撮影データに基づいて、記録値を前記標準表明下における物体色を示す物体色の色値に変換する変換関数を有するニューロンを備えたニューラルネットを準備するニューラルネット準備ステップと、
前記デジタル撮影画像データから前記枠体を特定し、前記枠体内の前記表示用シートの画像部分を特定する表示用シート画像特定ステップと、
前記デジタル撮影画像データから前記基準マークの画像部分を特定する基準マーク画像特定ステップと、
前記表示用シート画像特定ステップで特定した前記表示用シートに対応する画像部分の記録値と前記基準マーク画像特定ステップで特定した前記基準マークに対応する画像部分の記録値とを入力として、前記ニューラルネットを用いて、前記表示用シートに対応する画像部分の記録値を前記標準照明下における見えを与えるように色みを補正した物体色を示す物体色の色値に変換する変換補正ステップと、
前記変換補正ステップにより得た前記表示用シートに対応する画像部分の前記物体色の色値と前記複数の判別用基準画像データとに基づいて、前記表示用シートの種別を判別する判別ステップとを実行することを特徴とする画像判定方法
【請求項１４】
前記看板には、複数個の前記基準マークが、前記表示シート上及び／または前記枠体上に分散して設けられており、
前記変換補正ステップでは、複数箇所の前記基準マークに対する画像部分の記録値の平均値または複数の記録値から多数決により決定した代表値を、前記変換補正ステップにおける前記基準マークに対応する記録値として用いることを特徴とする請求項１２または１３に記載の画像判定方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【公開番号】特開２００７−２５７３４３（Ｐ２００７−２５７３４３Ａ）
【公開日】平成１９年１０月４日（２００７．１０．４）
【国際特許分類】
【出願番号】特願２００６−８１４２２（Ｐ２００６−８１４２２）
【出願日】平成１８年３月２３日（２００６．３．２３）
【出願人】（０００１１０２５１）トピー工業株式会社 (255)
【Ｆターム（参考）】
【公開日】平成１９年１０月４日（２００７．１０．４）
【国際特許分類】
【出願日】平成１８年３月２３日（２００６．３．２３）
【出願人】（０００１１０２５１）トピー工業株式会社 (255)
【Ｆターム（参考）】
[ Back to top ]