部屋形状認識方法および装置、ならびにこれを用いた空気調和機
【課題】単一のカメラを用いて左右正面壁までの距離測定を行う部屋形状認識装置を提供する。
【解決手段】少なくとも床４、左壁５、右壁６および正面壁７を有する部屋を撮影する単一の撮像手段１１と、撮像手段１１が撮影した複数の部屋画像を時系列で記憶する画像記憶手段１２と、部屋画像をマトリクス状に分割し、分割領域８ごとに静的な画像特徴を抽出する静的画像特徴抽出手段１３と、複数の部屋画像における分割領域ごとに動的な画像特徴を抽出する動的画像特徴抽出手段１４と、静的画像特徴抽出手段１３の出力および動的画像特徴抽出手段１４の出力を基に、該分割領域が床４、左壁５、右壁６または正面壁７のいずれの属性かを判別する属性判別手段１５とを備えたことを特徴とする部屋形状認識装置１０。
【解決手段】少なくとも床４、左壁５、右壁６および正面壁７を有する部屋を撮影する単一の撮像手段１１と、撮像手段１１が撮影した複数の部屋画像を時系列で記憶する画像記憶手段１２と、部屋画像をマトリクス状に分割し、分割領域８ごとに静的な画像特徴を抽出する静的画像特徴抽出手段１３と、複数の部屋画像における分割領域ごとに動的な画像特徴を抽出する動的画像特徴抽出手段１４と、静的画像特徴抽出手段１３の出力および動的画像特徴抽出手段１４の出力を基に、該分割領域が床４、左壁５、右壁６または正面壁７のいずれの属性かを判別する属性判別手段１５とを備えたことを特徴とする部屋形状認識装置１０。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、室内に設置された単一の撮像手段が撮影した画像を基に、撮像手段から部屋の左右正面壁までの距離および障害物の位置を認識し、その結果に従って空調制御を行う技術に関する。
【背景技術】
【０００２】
従来の空気調和機は、風温、風向および風量などの制御を行うために測距センサーを備えており、該センサーが取得した、例えば左右正面壁までの距離、障害物までの距離を検知することにより、高度な空調制御を実現している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平７−１９５７２号公報
【特許文献２】特開２００８−２６１５６７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１および２記載の空気調和機は、光位相式測距センサや超音波式測距センサなど距離測定だけに特化したセンサを用いて、部屋の各部までの距離を検知している。さらに、特許文献２においては、センサとして、複数のカメラを用いることが示唆されている。
【０００５】
しかしながら、これらの空気調和機は、距離測定に特化したセンサを必要とし、監視用途などへ流用可能な単一のカメラを用いて静止画像を撮影し、左右正面壁までの距離測定を行うことはできない。
【０００６】
本発明の目的は、単一の撮像手段を用いて左右正面壁までの距離測定を行う部屋形状認識装置を提供することである。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明に係る部屋形状認識装置は、少なくとも床、左壁、右壁および正面壁を有する部屋を撮影する単一の撮像手段と、撮像手段が撮影した複数の部屋画像を時系列で記憶する画像記憶手段と、部屋画像をマトリクス状に分割し、分割された分割領域ごとに静的な画像特徴を抽出する静的画像特徴抽出手段と、複数の部屋画像における分割領域ごとに動的な画像特徴を抽出する動的画像特徴抽出手段と、静的画像特徴抽出手段の出力および動的画像特徴抽出手段の出力を基に、該分割領域が床、左壁、右壁または正面壁のいずれの属性かを判別する属性判別手段とを備えたことを特徴とする。
【発明の効果】
【０００８】
本発明によれば、単一の撮像手段が撮影した部屋画像の分割領域ごとに抽出した静的な画像特徴および動的な画像特徴を基に、分割領域が床、左壁、右壁、正面壁のいずれの属性かを判別することができる。その結果、判別した属性を基に、床、左壁、右壁、正面壁の境界を決定し、撮像手段から左壁、右壁、正面壁までの各距離を算出することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施の形態１による空気調和機を示すブロック図である。
【図２】撮像手段が撮影した部屋画像の例を示す。
【図３】分割領域に分割された部屋画像を示す。
【図４】ソーベルフィルタの形状例である。
【図５】エッジ勾配方向の区分例を示す。
【図６】エッジ勾配方向の説明図である。
【図７】部屋画像から求められる消失点の説明図である。
【図８】属性判別手段の出力例を示す。
【図９】部屋境界判定手段の出力例を示す。
【図１０】空気調和機の回路構成例を示すブロック図である。
【図１１】本発明の実施の形態２による空気調和機を示すブロック図である。
【発明を実施するための形態】
【００１０】
実施の形態１．
図１は、本発明の実施の形態１による空気調和機を示すブロック図である。本実施形態において、空気調和機１００は、部屋形状認識部１０と空調制御手段２０とを備える。部屋形状認識部１０は、部屋画像を撮影するための単一の撮像手段１１と、撮像手段１１が撮影した部屋画像を時系列で記憶する画像記憶手段１２と、部屋画像をマトリクス状に分割し、各分割領域８ごとに静的な画像特徴を抽出する静的画像特徴抽出手段１３と、各分割領域８ごとに動的な画像特徴を抽出する動的画像特徴抽出手段１４と、静的画像特徴抽出手段１３の出力および動的画像特徴抽出手段１４の出力、ならびに予め取得した参照用データを基に、各領域の属性を判別する属性判別手段１５と、属性判別手段１５の出力を基に、床４、左壁５、右壁６、正面壁７の境界を決定する部屋境界判定手段１６とを有する。
【００１１】
撮像手段１１は、撮像方向が、部屋１を斜め下向きに俯瞰する方向に一定になるように固定する。床４、左壁５、右壁６、正面壁７の境界を撮影できるように。撮像手段１１は、例えば可視グレースケールカメラ、可視カラーカメラまたは近赤外線カメラなどでもよく、好ましくは監視用途などへ流用可能なカメラを用いる。また、部屋全体を見渡せるように、撮像手段１１に用いるレンズとして広角レンズを採用してもよい。
【００１２】
図２は、撮像手段が撮影した部屋画像の例を示す。撮像手段１１が撮影した部屋画像は、画像記憶手段１２へ入力される。入力された部屋画像は、撮影した時刻と関連付けて時系列で記憶される。撮像手段１１で時々刻々の部屋１の様子を撮影することで、画像記憶手段１２には、例えば昼夜での日照変化、部屋１の照明状態の変化により、多様な照明条件における部屋画像が記憶されることになる。また、部屋１にいる人３の動きを撮影した画像も記憶されることになる。
【００１３】
図３は、分割領域に分割された部屋画像を示す。静的画像特徴抽出手段１３は、まず、図３（ａ）に示すように、部屋画像をマトリクス状の分割領域８に分割する。図３（ｂ）に拡大図で示すように、分割領域８は、複数の画素８ａを含む。静的画像特徴抽出手段１３は、次に、分割した部屋画像の各分割領域８ごとに静的画像特徴を抽出する。抽出する静的画像特徴としては、例えば、「平均輝度値」、「平均ＲＧＢ値」、「平均ＨＳＶ値」、「平均エッジ強度」、「エッジ勾配方向ごとの出現頻度」、「輝度分散値」、「エッジ密度」および「部屋の３消失点方向に向かうエッジ数」などを採用することができる。このうち、平均ＲＧＢ値、平均ＨＳＶ値は、部屋画像をカラー撮影したときにのみ使用できる。
【００１４】
上記静的画像特徴に関して、「平均」は、各分割領域８に属する全画素での平均値を表しており、該平均値を、分割領域８を代表する値として扱う。「エッジ勾配方向ごとの出現頻度」、「輝度分散値」および「エッジ密度」および「部屋の３消失点方向に向かうエッジ数」についても同様に、分割領域ごとに算出する。このように、各画素を1単位とせず、各分割領域を１単位とすることで、後述する属性判別を、より高速で実施することができる。
【００１５】
また、以降の説明において、ｆ(ｉ,ｊ)は、座標(ｉ,ｊ)に位置する画素の画像特徴値、例えば輝度値を示し、ｆ(ｉ,ｊ,ｔ)は、座標(ｉ,ｊ)に位置する画素の時刻ｔにおける画像特徴値を示す。
【００１６】
「ＨＳＶ値」は、２５６階調のＲＧＢ値から、下記の式（１）〜（３）を用いて変換できる。ただし、「ＭＡＸ」「ＭＩＮ」は、それぞれＲ、Ｇ、Ｂのうちの最大値、最小値である。また、Ｈは０〜３５９の値をとるので、Ｈが０より小さい場合は、３６０を加えた値をＨとする。
【００１７】
【数１】
【００１８】
「エッジ強度」は、例えば、画像処理の分野で一般的に用いられている微分フィルタ、例えばソーベルフィルタを用いて求めることができる。図４は、ソーベルフィルタの形状例である。図４（ａ）のフィルタは、水平方向のエッジ強度を求めるために使用し、図４（ｂ）のフィルタは、垂直方向のエッジ強度を求めるために使用する。このフィルタを適用することにより、中央の画素(ｉ,ｊ)に対するエッジ強度を求めることができる。エッジ強度Ｅは、水平方向（ｘ方向）の微分値（差分値）Ｓｘ（＝ｆ(ｉ＋１,ｊ)−ｆ(ｉ,ｊ)）および垂直方向（ｙ方向）の微分値（差分値）Ｓｙ（＝ｆ(ｉ,ｊ＋１)−ｆ(ｉ,ｊ)）から、下記の式（４）によって算出することができる。
【００１９】
【数２】
【００２０】
「エッジ勾配方向ごとの出現頻度」は、例えば０度から１８０度を８等分して角度区分を定義し、分割領域に属する各画素におけるエッジ勾配方向θの角度区分ごとの出現頻度を、全画素分計数することにより求めることができる。図５は、エッジ勾配方向の区分例を示す。また、図６は、エッジ勾配方向の説明図である。エッジ勾配方向θは、ソーベルフィルタが出力する微分値Ｓｘ、Ｓｙを用いて、下記の式（５）で求めることができる。
【００２１】
【数３】
【００２２】
「輝度分散値」は、分割領域８に属する全画素の輝度値の分散値である。
【００２３】
「エッジ密度」は、分割領域８に属する各画素のうち、閾値以上のエッジ強度Ｅを有する画素の数である。
【００２４】
「部屋の３消失点方向に向かうエッジ数」の求め方を図７を用いて説明する。図７は、部屋画像から求められる消失点の説明図である。通常、部屋１は直方体形状を有しており、部屋１で検出されるエッジの多くは、この直方体に起因する３つの消失点９ａ〜９ｃ、の方向へ延びる。
【００２５】
部屋１で検出されたエッジから３つの消失点９ａ〜９ｃを求める方法は、画像処理の分野で数多く提案されている。本発明ではまず、画面内の直線を検出する。例えば、画像処理の分野で一般的に用いられている直線検出手法であるρθハフ変換を用いて直線を検出してもよい。ρθハフ変換では（ａ）エッジを含むｘｙ平面上の点群をρθ平面上の曲線群に変換し、（ｂ）該曲線群の交点を求め、（ｃ）交点の累積度数分布から極大点群を抽出する。抽出した極大点群が、対応するｘｙ平面上の複数の直線を表す。
【００２６】
次に、この直線が多く交わる点を３点求める。そのために、最初に、（ａ）検出した直線からランダムに２本選択し、（ｂ）その２本の直線の交点を求め、（ｃ）この交点の近傍を通る直線の数を計数する。（ｄ）前記３ステップを１試行として該試行を複数回繰り返し、（ｅ）近傍を通る直線数が多い点を上位３点求める。この３点が３つの消失点９ａ〜９ｃとなる。
【００２７】
次に、３つの消失点９ａ〜９ｃの近傍を通る直線を抽出し、その直線を構成するエッジ点をそれぞれの消失点ごとに求める。この各消失点に対応したエッジ点が分割領域中に含まれる数を、消失点ごとに計数することで、部屋１の３消失点方向に向かうエッジ数を求めることができる。
【００２８】
これら静的画像特徴の抽出に関しては、例えば昼の明るい時間のような代表的な時刻における１枚の撮影画像について抽出してもよいし、複数の時刻に撮影した複数の時刻に撮影した画像について抽出した特徴の時間平均値、中央値などを用いてもよい。
【００２９】
次に、動的画像特徴抽出手段１４の動作について説明する。動的画像特徴抽出手段１４は、各分割領域８ごとに動的画像特徴を抽出する。動的画像特徴としては、例えば「急激な輝度変化の発生した回数」、「オプティカルフローの方向別頻度」、「平均輝度値の推移」などを採用することができる。従来、部屋の静止画像のみを基に各分割領域ごとの属性判別を行うことは難しかった。動的画像特徴を抽出することで、時間方向に拡張された画像情報を取得できるため、精度が高い属性判別が可能になる。
【００３０】
「急激な輝度変化の発生した回数」は、急激な輝度変化が生じたフレーム数を計数することで求めることができる。ここで、「フレーム」は、ある時刻ｔでの部屋画像をいう。部屋画像の輝度のフレーム間差分（＝ｆ(ｉ,ｊ,ｔ＋１)−ｆ(ｉ,ｊ,ｔ)）を毎時計算し、該差分の絶対値が閾値以上である画素が、分割領域８中に一定数以上現れた場合を「急激な輝度変化」とすることができる。尚、撮像手段は、時刻ｔ，ｔ＋１，ｔ＋２…に部屋を撮影するとする。
【００３１】
部屋１の中を人３が動き回った場合、壁と比べて床で急激な輝度の時間変化があると考えられる。よって、本動的画像特徴を採用することにより、床と他の属性判別の精度を向上させることができる。
【００３２】
オプティカルフローは、注目点周辺における輝度値の分布が、次のフレームにおいてどちらの方向へ移動したかを表すベクトルである。注目点は、分割領域８の中央の点でもよいし、または分割領域８中の複数個所でもよい。「オプティカルフローの方向別頻度」は、（ａ）例えばブロックマッチング法、勾配法などによりオプティカルフローを推定し、（ｂ）一定距離以上移動したベクトルについての移動方向を、図５で示したような角度区分においてどちらの方向かを判定し、（ｃ）角度区分ごとの発生頻度を計数することで求めることができる。
【００３３】
本動的画像特徴を採用することにより、人が部屋１内を動く方向についての偏りが得られ、その結果、人が動き回る領域と、人が一定方向へのみ行き来する出入り口領域、との判別が容易になる。
【００３４】
「平均輝度値の推移」は、一定時間、例えば１時間ごとに各分割領域８の平均輝度値を計算することで求めることができる。例えば、抽出した平均輝度値が、昼の時間帯には大きく、かつ、夜の時間帯は小さい分割領域があると、該分割領域は、窓２のような外光の影響を受けやすい領域であると判別できるため、壁と床の属性判別の精度を向上させることができる。
【００３５】
図８は、属性判別手段の出力例を示す。（ａ）は床、（ｂ）は左壁、（ｃ）は右壁、（ｄ）は正面壁とそれぞれ判別された場合の出力例である。属性判別手段１５は、静的画像特徴抽出手段１３および動的画像特徴抽出手段１４の出力を用いて、各分割領域８が、床４、左壁５、右壁６、正面壁７のいずれの属性かを判別する。属性判別には、例えば機械学習ベースの識別器を用いることができる。該識別器を用いる場合、予め取得した学習データを利用する。まず、例えば複数の部屋でそれぞれ撮影し、時系列で保存した複数の部屋画像データを取得する。次に、部屋画像を分割した各分割領域ごとに静的画像特徴および動的画像特徴を抽出する。そして、分割領域の位置（Ｘ，Ｙ）、静的画像特徴および動的画像特徴を列記して特徴ベクトルを生成し、各領域について決定した属性と関連付け、学習データとして記憶する。
【００３６】
該学習データを用いることによって、ｎクラスの識別を実行することができる。ｎクラスを識別するために、公知技術である、多クラスサポートベクターマシン(Support Vector Machine(ＳＶＭ))などの識別器、ランダム木（Randamized Trees）などの識別方法が利用可能である。さらに、例えばアダブースト（AdaBoost）、ＳＶＭなどの２クラス識別器を複数組合せて多クラス識別を実現する方法もある。例えば、１対ｎ−１分類器を識別クラスの数だけ学習して最も尤度の高いものを選ぶ方法、または１対１分類器をｎ（ｎ−１）／２個用意し、多数決によって一番多いクラスを決定する方法などが知られている。
【００３７】
ここで、ＳＶＭを用いた、１対ｎ−1分類器の組合せによる属性判別方法について説明する。（ａ）最初に、学習データ中から、床４と属性判別すべきデータを抽出し、該データの属性を１とする。（ｂ）次に、その他の左右正面壁と属性判別すべきデータの属性を−１として学習データを列挙する。（ｃ）そして、ＳＶＭを用いて識別器を学習することにより、床対他分類器を作成する。左壁５、正面壁６、右壁７についても同様に以上のステップを実施し、左壁対他分類器、正面壁対他分類器、右壁対他分類器を作成する。
【００３８】
これら４つの分類器を用いて、属性判別する方法を説明する。最初に、属性判別する分割領域の位置（Ｘ，Ｙ）、抽出した静的画像特徴および動的画像特徴を列記して特徴ベクトルを生成する。次に、この特徴ベクトルを４つの分類器に入力し、サポートベクトル回帰計算を実施する。その結果、該分割領域は、多数決原理により、最も高い値に回帰された属性であると判別することができる。
【００３９】
図９は、部屋境界判定手段の出力例を示す。部屋境界判定手段１６は、属性判別手段１５の出力を基に、床４、左壁５、右壁６、正面壁７の境界を決定する。部屋１の直方体形状に起因する３つの消失点９ａ〜９ｃが既知の場合は、３パラメータ（床と左壁の境界線の切片、床と正面壁の境界線の切片および床と右壁の境界線の切片）を決定することにより、４つの領域を分ける境界線を全て決定することができる。静的画像特徴として「部屋の３消失点方向に向かうエッジ数」を採用した場合は、該消失点９ａ〜９ｃは既知である。
【００４０】
該３パラメータの尤度は、３パラメータにより決まる境界線を描き、各分割領域８に正しい属性と判定された画素がどれだけ存在するかを計数することにより求めることができる。よって、部屋画像において、３パラメータについて全探索を行い、最も尤度の高いパラメータを見つけることにより、床４、左壁５、右壁６、正面壁７の境界線を決定することができる。
【００４１】
ここで、図３（ｂ）では９×９の画素を一分割領域８として、属性判別および部屋境界判定を実施したが、本発明はこれに限定されることはない。より少ない数の画素を一分割領域８とすることで、より精密に各分割領域の部屋境界の判定することができる。一方、より多数の画素を一分割領域８とした場合、属性判別するべき分割領域の数が減少し、より高速に属性判別を実施可能である。よって、一分割領域８の画素数は、所望の処理精度と処理速度とから決定することになる。
【００４２】
次に、空調制御手段２０が行う空調制御について説明する。下記の式（６）は、透視投影と呼ばれる周知の変換方法を表しており、撮影した部屋画像上の座標(ｘ,ｙ)をカメラ座標系の座標(ｘ',ｙ',ｚ')に変換する式である。尚、ｆは既知であるレンズの焦点距離である。
【００４３】
【数４】
【００４４】
部屋境界判定手段１６で決定した、床４、左壁５、右壁６、正面壁７の境界線を上記の式（６）を用いて変換したデータと、既知である撮像手段１１の俯角、および設置された床４からの高さに基づいて、境界線が床平面４においてどの距離に存在するか、更には撮像手段１１から部屋１の左右正面壁５〜７までの距離を算出することができる。また、レンズ歪みについてのデータを、例えば空調制御手段２０に記憶させておくことで、該データを用いて算出した距離を補正することができる。
【００４５】
本実施形態においては、床４、左壁５、右壁６、正面壁７の境界を決定し、撮像手段１１から左右正面壁５〜７までの距離を算出した。一方、例えば撮像手段１１に広角レンズを取り付けて部屋全体を撮影した場合など、撮像手段１１が天井、左壁５、右壁６、正面壁７の境界を撮影する場合には、天井対他分類器などを作成し、天井、左壁５、右壁６、正面壁７の属性を判別し、これらの境界を決定することにより、前記距離を算出してもよい。
【００４６】
空調制御手段２０は、上記のように算出した、撮像手段１１から部屋１の左右正面壁５〜７までの距離と、例えば空気調和機１００内に設置した温度センサによって測定した現在の室温とに基づいて、風温、風向（上下）、風向（左右）および風量を決定し、最適な空調制御を行うことができる。本発明に係る空気調和機では、一般の空気調和機と同様に、風温、風向（上下）、風向（左右）および風量などの設定項目を手動制御することができる。ユーザがこれらの項目の一部について手動制御を選択した場合は、残りの項目について、その部屋に最適な空調制御を行うことができる。
【００４７】
空調制御手段２０はまず、室温、および撮像手段１１から正面壁７までの距離に基づいて、部屋の一番奥（正面壁７）まで風が届くように、風温、風向（上下）、風量を決定する。例えば、室温および正面壁までの距離と、最適な風温、風向（上下）、風量との対応関係を事前にルックアップテーブル化して空調制御手段２０に記憶させ、それを空調制御時に参照することで、風温、風向（上下）、風量を決定することができる。撮像手段１１から正面壁までの距離に応じて、風量をできるだけ抑えることにより、空調時のファンに起因するノイズを低減することができる。
【００４８】
次に、撮像手段１１から左右壁までの距離に基づいて、風向（左右）を決定する。例えば、風向（上下）と同様に、撮像手段１１から左壁５までの距離および右壁６までの距離と最適な風向（左右）との対応関係を事前にルックアップテーブル化して空調制御手段２０に記憶させ、それを空調制御時に参照することで、風向（左右）を決定することができる。
【００４９】
例えば、撮像手段１１から左壁５までの距離が近い場合、左側に送風する際には大きく風向を大きく曲げる必要はなく、風量は少なくすることができる。また、ユーザの状況や、ユーザの選択により、左右にスイングしながら送風する場合がある。その場合、例えば撮像手段１１から左壁５までの距離に比べて右壁６までの距離が大きい場合は、左側に比べて右側に、より風向を大きく曲げ、より風量を多くし、より送風時間を長くする制御を行う。
【００５０】
ルックアップテーブルは、熱流体解析により解析的に作成してもよいし、実験により経験的に作成してもよい。また、ルックアップテーブルを用意せずに、室温、および左右正面壁５〜７までの距離を認識した際に、熱流体解析によりその都度最適な空調制御方法を求めてもよい。
【００５１】
ここで、前述のように、動的画像特徴として「オプティカルフローの方向別頻度」を抽出することにより、人が動き回る領域と、人が一定方向へのみ行き来する出入り口領域との判別が容易になる。よって出入り口領域に比べて人が動き回る領域により送風する制御を行ってもよい。
【００５２】
図１０は、空気調和機の回路構成例を示すブロック図である。図１０を用いて、本実施形態に係る空気調和機１００の動作を説明する。空気調和機１００のユーザが、リモコン（リモートコントローラ）４２を用いて信号をリモコン受信部４３に送信すると、該信号はＣＰＵ（中央処理装置）４０に送信され、メモリ４１に、ユーザが選択した設定が記憶される。
【００５３】
前述した、部屋画像の分割、静的画像特徴および動的画像特徴の抽出、各分割領域８の属性判別、部屋境界の決定、ならびに撮像手段１１から左右正面壁４〜７までの距離の算出は、メモリに予め記憶させたプログラムに従って演算処理等することにより、実行することができる。ＣＰＵ４０は、前記距離、温度センサ５２から出力された現在の室温、およびメモリ４１に記憶された、ユーザが選択した設定などを参照し、空気調和機１００が設置された部屋１に最適な空調制御（風温、風向（上下）、風向（左右）、風量）を決定する。
【００５４】
ＣＰＵ４０が決定した空調制御の情報は、駆動部４５に送られる。駆動部４５は、風温、風向（上下）、風向（左右）、風量の情報に応じて、風温を制御する圧縮機４６、風向（上下）を制御する上下フィン４７、風向（左右）を制御する左右フィン４８、風量を制御する室内ファン４９を駆動する。
【００５５】
以上、本実施形態では、単一の撮像手段１１が撮影した部屋画像を分割した分割領域８ごとに静的画像特徴および動的画像特徴を抽出した。従来、部屋の静止画像のみからは実施することが難しかった各分割領域ごとの属性判別を、動的画像特徴を抽出することで時間方向に拡張して実施できるため、精度が高い属性判別が可能になる。さらに、部屋境界判定手段１６の出力を基に算出した、撮像手段１１から左右正面壁５〜７までの距離を基に、風温、風向（上下）、風向（左右）、および風量を制御することで、空調時のファンに起因するノイズを軽減し、効率性の高い空気調和機を提供することができる。
【００５６】
実施の形態２．
図１１は、本発明の実施の形態２による空気調和機を示すブロック図である。本実施形態において、空気調和機１００は、床上に配置されて送風を妨げる障害物３１の位置を判定する障害物判定手段３０をさらに備える。また、動的画像特徴抽出手段１４は、「急激な輝度変化が短時間に集中して発生する回数」を動的画像特徴としてさらに抽出する。その他の構成は、実施形態１と同様である。
【００５７】
本明細書中、障害物３１は、例えば机、椅子、テレビなど、床の上に存在する家具などであって、奥に風が進むのを妨げる物体を指す。よって、障害物判定手段３０は、部屋境界判定手段１６によって床と判定された分割領域ごとに抽出した静的画像特徴および動的画像特徴に基づいて、障害物３１がどの分割領域に存在するかを判定する。
【００５８】
上述のように、本実施形態においては、「急激な輝度変化が短時間に集中して発生する回数」を動的画像特徴として採用する。「急激な輝度変化」は、前述のように、部屋画像のフレーム間差分を毎時計算し、該差分の絶対値が閾値以上である画素が、分割領域８中に一定回数以上現れた場合とすることができる。また、「短時間に集中して発生する」とは、例えば１分間に１０回以上発生した場合をいい、予め設定しておく。所定の時間に設定回数以上発生した場合に、発生した回数を「急激な輝度変化が短時間に集中して発生する回数」として計数する。
【００５９】
人３が椅子やソファーなどの障害物３１上に座って一定時間滞留している場合や、部屋画像にテレビの画面が移っている場合、限られた領域内で急激な輝度変化が多数発生すると考えられる。よって本動的画像特徴を採用することにより、障害物判定の精度を向上させることができる。
【００６０】
さらに、実施形態１で静的画像特徴として採用した「急激な輝度変化の回数」は、机などの障害物３１が存在するために人が行くことができない領域においては小さくなると考えられるため、障害物判定の精度向上に役立つ。
【００６１】
障害物判定には、属性判別手段１５と同様、機械学習ベースの識別器を用いることができる。学習データにおいて障害物が存在すると判定すべきデータの属性を１、障害物が存在しないと判定すべきデータの属性を−１として学習データを列挙する。次に、ＳＶＭを用いて識別器を学習することにより、障害物識別器を作成する。次に、部屋境界判定手段１６の出力に基づいて床と判定された分割領域ごとに静的画像特徴および動的画像特徴を抽出し、特徴ベクトルを作成する。この特徴ベクトルを障害物識別器に入力してサポートベクトル回帰計算を実施し、多数決原理により障害物の有無を判定する。各分割領域について障害物の有無を判定することにより、障害物の位置を推定することができる。
【００６２】
本実施形態に係る空気調和機１００においても、実施形態１に記載の空調制御に従って、風温、風向（上下）、風向（左右）、風量を決定する。さらに、本実施形態では、空気撮像手段１１から部屋１の左右正面壁５〜７までの距離に加えて、障害物３１の位置が得られるため、さらに細やかな空調制御が可能になる。例えば、空気調和機１００から近い位置に障害物３１が存在するときは、該障害物３１を避けて風向を制御することにより、空調の効率を上げることができる。また、実施形態１に記載の空調制御に従って決定した風向（左右）によって風が進行する先に障害物３１が存在する場合は、障害物３１の奥側にも風が回りこむように、障害物の左右で風量を大きくする制御を行うことができる。
【００６３】
以上、本実施形態では、「急激な輝度変化が短時間に集中して発生する回数」を動的画像特徴として抽出することにより、障害物判定手段３０が実施する障害物判定の精度を向上させることができる。また、静的画像特徴抽出手段１３が抽出する「急激な輝度変化の回数」も、障害物判定の精度を向上させるために役立つ。判定した障害物３１の位置に応じて空調制御することにより、さらに空調の効率を上げることができる。
【符号の説明】
【００６４】
１ 部屋、 ２ 窓、 ３ 人、 ４ 床、 ５ 左壁、 ６ 右壁、 ７ 正面壁、 ８ 分割領域、 ９ａ〜９ｃ 消失点、 １０ 部屋形状認識部、 ２０ 空調制御手段、 １００ 空気調和装置
【技術分野】
【０００１】
本発明は、室内に設置された単一の撮像手段が撮影した画像を基に、撮像手段から部屋の左右正面壁までの距離および障害物の位置を認識し、その結果に従って空調制御を行う技術に関する。
【背景技術】
【０００２】
従来の空気調和機は、風温、風向および風量などの制御を行うために測距センサーを備えており、該センサーが取得した、例えば左右正面壁までの距離、障害物までの距離を検知することにより、高度な空調制御を実現している。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開平７−１９５７２号公報
【特許文献２】特開２００８−２６１５６７号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
特許文献１および２記載の空気調和機は、光位相式測距センサや超音波式測距センサなど距離測定だけに特化したセンサを用いて、部屋の各部までの距離を検知している。さらに、特許文献２においては、センサとして、複数のカメラを用いることが示唆されている。
【０００５】
しかしながら、これらの空気調和機は、距離測定に特化したセンサを必要とし、監視用途などへ流用可能な単一のカメラを用いて静止画像を撮影し、左右正面壁までの距離測定を行うことはできない。
【０００６】
本発明の目的は、単一の撮像手段を用いて左右正面壁までの距離測定を行う部屋形状認識装置を提供することである。
【課題を解決するための手段】
【０００７】
上記目的を達成するために、本発明に係る部屋形状認識装置は、少なくとも床、左壁、右壁および正面壁を有する部屋を撮影する単一の撮像手段と、撮像手段が撮影した複数の部屋画像を時系列で記憶する画像記憶手段と、部屋画像をマトリクス状に分割し、分割された分割領域ごとに静的な画像特徴を抽出する静的画像特徴抽出手段と、複数の部屋画像における分割領域ごとに動的な画像特徴を抽出する動的画像特徴抽出手段と、静的画像特徴抽出手段の出力および動的画像特徴抽出手段の出力を基に、該分割領域が床、左壁、右壁または正面壁のいずれの属性かを判別する属性判別手段とを備えたことを特徴とする。
【発明の効果】
【０００８】
本発明によれば、単一の撮像手段が撮影した部屋画像の分割領域ごとに抽出した静的な画像特徴および動的な画像特徴を基に、分割領域が床、左壁、右壁、正面壁のいずれの属性かを判別することができる。その結果、判別した属性を基に、床、左壁、右壁、正面壁の境界を決定し、撮像手段から左壁、右壁、正面壁までの各距離を算出することができる。
【図面の簡単な説明】
【０００９】
【図１】本発明の実施の形態１による空気調和機を示すブロック図である。
【図２】撮像手段が撮影した部屋画像の例を示す。
【図３】分割領域に分割された部屋画像を示す。
【図４】ソーベルフィルタの形状例である。
【図５】エッジ勾配方向の区分例を示す。
【図６】エッジ勾配方向の説明図である。
【図７】部屋画像から求められる消失点の説明図である。
【図８】属性判別手段の出力例を示す。
【図９】部屋境界判定手段の出力例を示す。
【図１０】空気調和機の回路構成例を示すブロック図である。
【図１１】本発明の実施の形態２による空気調和機を示すブロック図である。
【発明を実施するための形態】
【００１０】
実施の形態１．
図１は、本発明の実施の形態１による空気調和機を示すブロック図である。本実施形態において、空気調和機１００は、部屋形状認識部１０と空調制御手段２０とを備える。部屋形状認識部１０は、部屋画像を撮影するための単一の撮像手段１１と、撮像手段１１が撮影した部屋画像を時系列で記憶する画像記憶手段１２と、部屋画像をマトリクス状に分割し、各分割領域８ごとに静的な画像特徴を抽出する静的画像特徴抽出手段１３と、各分割領域８ごとに動的な画像特徴を抽出する動的画像特徴抽出手段１４と、静的画像特徴抽出手段１３の出力および動的画像特徴抽出手段１４の出力、ならびに予め取得した参照用データを基に、各領域の属性を判別する属性判別手段１５と、属性判別手段１５の出力を基に、床４、左壁５、右壁６、正面壁７の境界を決定する部屋境界判定手段１６とを有する。
【００１１】
撮像手段１１は、撮像方向が、部屋１を斜め下向きに俯瞰する方向に一定になるように固定する。床４、左壁５、右壁６、正面壁７の境界を撮影できるように。撮像手段１１は、例えば可視グレースケールカメラ、可視カラーカメラまたは近赤外線カメラなどでもよく、好ましくは監視用途などへ流用可能なカメラを用いる。また、部屋全体を見渡せるように、撮像手段１１に用いるレンズとして広角レンズを採用してもよい。
【００１２】
図２は、撮像手段が撮影した部屋画像の例を示す。撮像手段１１が撮影した部屋画像は、画像記憶手段１２へ入力される。入力された部屋画像は、撮影した時刻と関連付けて時系列で記憶される。撮像手段１１で時々刻々の部屋１の様子を撮影することで、画像記憶手段１２には、例えば昼夜での日照変化、部屋１の照明状態の変化により、多様な照明条件における部屋画像が記憶されることになる。また、部屋１にいる人３の動きを撮影した画像も記憶されることになる。
【００１３】
図３は、分割領域に分割された部屋画像を示す。静的画像特徴抽出手段１３は、まず、図３（ａ）に示すように、部屋画像をマトリクス状の分割領域８に分割する。図３（ｂ）に拡大図で示すように、分割領域８は、複数の画素８ａを含む。静的画像特徴抽出手段１３は、次に、分割した部屋画像の各分割領域８ごとに静的画像特徴を抽出する。抽出する静的画像特徴としては、例えば、「平均輝度値」、「平均ＲＧＢ値」、「平均ＨＳＶ値」、「平均エッジ強度」、「エッジ勾配方向ごとの出現頻度」、「輝度分散値」、「エッジ密度」および「部屋の３消失点方向に向かうエッジ数」などを採用することができる。このうち、平均ＲＧＢ値、平均ＨＳＶ値は、部屋画像をカラー撮影したときにのみ使用できる。
【００１４】
上記静的画像特徴に関して、「平均」は、各分割領域８に属する全画素での平均値を表しており、該平均値を、分割領域８を代表する値として扱う。「エッジ勾配方向ごとの出現頻度」、「輝度分散値」および「エッジ密度」および「部屋の３消失点方向に向かうエッジ数」についても同様に、分割領域ごとに算出する。このように、各画素を1単位とせず、各分割領域を１単位とすることで、後述する属性判別を、より高速で実施することができる。
【００１５】
また、以降の説明において、ｆ(ｉ,ｊ)は、座標(ｉ,ｊ)に位置する画素の画像特徴値、例えば輝度値を示し、ｆ(ｉ,ｊ,ｔ)は、座標(ｉ,ｊ)に位置する画素の時刻ｔにおける画像特徴値を示す。
【００１６】
「ＨＳＶ値」は、２５６階調のＲＧＢ値から、下記の式（１）〜（３）を用いて変換できる。ただし、「ＭＡＸ」「ＭＩＮ」は、それぞれＲ、Ｇ、Ｂのうちの最大値、最小値である。また、Ｈは０〜３５９の値をとるので、Ｈが０より小さい場合は、３６０を加えた値をＨとする。
【００１７】
【数１】
【００１８】
「エッジ強度」は、例えば、画像処理の分野で一般的に用いられている微分フィルタ、例えばソーベルフィルタを用いて求めることができる。図４は、ソーベルフィルタの形状例である。図４（ａ）のフィルタは、水平方向のエッジ強度を求めるために使用し、図４（ｂ）のフィルタは、垂直方向のエッジ強度を求めるために使用する。このフィルタを適用することにより、中央の画素(ｉ,ｊ)に対するエッジ強度を求めることができる。エッジ強度Ｅは、水平方向（ｘ方向）の微分値（差分値）Ｓｘ（＝ｆ(ｉ＋１,ｊ)−ｆ(ｉ,ｊ)）および垂直方向（ｙ方向）の微分値（差分値）Ｓｙ（＝ｆ(ｉ,ｊ＋１)−ｆ(ｉ,ｊ)）から、下記の式（４）によって算出することができる。
【００１９】
【数２】
【００２０】
「エッジ勾配方向ごとの出現頻度」は、例えば０度から１８０度を８等分して角度区分を定義し、分割領域に属する各画素におけるエッジ勾配方向θの角度区分ごとの出現頻度を、全画素分計数することにより求めることができる。図５は、エッジ勾配方向の区分例を示す。また、図６は、エッジ勾配方向の説明図である。エッジ勾配方向θは、ソーベルフィルタが出力する微分値Ｓｘ、Ｓｙを用いて、下記の式（５）で求めることができる。
【００２１】
【数３】
【００２２】
「輝度分散値」は、分割領域８に属する全画素の輝度値の分散値である。
【００２３】
「エッジ密度」は、分割領域８に属する各画素のうち、閾値以上のエッジ強度Ｅを有する画素の数である。
【００２４】
「部屋の３消失点方向に向かうエッジ数」の求め方を図７を用いて説明する。図７は、部屋画像から求められる消失点の説明図である。通常、部屋１は直方体形状を有しており、部屋１で検出されるエッジの多くは、この直方体に起因する３つの消失点９ａ〜９ｃ、の方向へ延びる。
【００２５】
部屋１で検出されたエッジから３つの消失点９ａ〜９ｃを求める方法は、画像処理の分野で数多く提案されている。本発明ではまず、画面内の直線を検出する。例えば、画像処理の分野で一般的に用いられている直線検出手法であるρθハフ変換を用いて直線を検出してもよい。ρθハフ変換では（ａ）エッジを含むｘｙ平面上の点群をρθ平面上の曲線群に変換し、（ｂ）該曲線群の交点を求め、（ｃ）交点の累積度数分布から極大点群を抽出する。抽出した極大点群が、対応するｘｙ平面上の複数の直線を表す。
【００２６】
次に、この直線が多く交わる点を３点求める。そのために、最初に、（ａ）検出した直線からランダムに２本選択し、（ｂ）その２本の直線の交点を求め、（ｃ）この交点の近傍を通る直線の数を計数する。（ｄ）前記３ステップを１試行として該試行を複数回繰り返し、（ｅ）近傍を通る直線数が多い点を上位３点求める。この３点が３つの消失点９ａ〜９ｃとなる。
【００２７】
次に、３つの消失点９ａ〜９ｃの近傍を通る直線を抽出し、その直線を構成するエッジ点をそれぞれの消失点ごとに求める。この各消失点に対応したエッジ点が分割領域中に含まれる数を、消失点ごとに計数することで、部屋１の３消失点方向に向かうエッジ数を求めることができる。
【００２８】
これら静的画像特徴の抽出に関しては、例えば昼の明るい時間のような代表的な時刻における１枚の撮影画像について抽出してもよいし、複数の時刻に撮影した複数の時刻に撮影した画像について抽出した特徴の時間平均値、中央値などを用いてもよい。
【００２９】
次に、動的画像特徴抽出手段１４の動作について説明する。動的画像特徴抽出手段１４は、各分割領域８ごとに動的画像特徴を抽出する。動的画像特徴としては、例えば「急激な輝度変化の発生した回数」、「オプティカルフローの方向別頻度」、「平均輝度値の推移」などを採用することができる。従来、部屋の静止画像のみを基に各分割領域ごとの属性判別を行うことは難しかった。動的画像特徴を抽出することで、時間方向に拡張された画像情報を取得できるため、精度が高い属性判別が可能になる。
【００３０】
「急激な輝度変化の発生した回数」は、急激な輝度変化が生じたフレーム数を計数することで求めることができる。ここで、「フレーム」は、ある時刻ｔでの部屋画像をいう。部屋画像の輝度のフレーム間差分（＝ｆ(ｉ,ｊ,ｔ＋１)−ｆ(ｉ,ｊ,ｔ)）を毎時計算し、該差分の絶対値が閾値以上である画素が、分割領域８中に一定数以上現れた場合を「急激な輝度変化」とすることができる。尚、撮像手段は、時刻ｔ，ｔ＋１，ｔ＋２…に部屋を撮影するとする。
【００３１】
部屋１の中を人３が動き回った場合、壁と比べて床で急激な輝度の時間変化があると考えられる。よって、本動的画像特徴を採用することにより、床と他の属性判別の精度を向上させることができる。
【００３２】
オプティカルフローは、注目点周辺における輝度値の分布が、次のフレームにおいてどちらの方向へ移動したかを表すベクトルである。注目点は、分割領域８の中央の点でもよいし、または分割領域８中の複数個所でもよい。「オプティカルフローの方向別頻度」は、（ａ）例えばブロックマッチング法、勾配法などによりオプティカルフローを推定し、（ｂ）一定距離以上移動したベクトルについての移動方向を、図５で示したような角度区分においてどちらの方向かを判定し、（ｃ）角度区分ごとの発生頻度を計数することで求めることができる。
【００３３】
本動的画像特徴を採用することにより、人が部屋１内を動く方向についての偏りが得られ、その結果、人が動き回る領域と、人が一定方向へのみ行き来する出入り口領域、との判別が容易になる。
【００３４】
「平均輝度値の推移」は、一定時間、例えば１時間ごとに各分割領域８の平均輝度値を計算することで求めることができる。例えば、抽出した平均輝度値が、昼の時間帯には大きく、かつ、夜の時間帯は小さい分割領域があると、該分割領域は、窓２のような外光の影響を受けやすい領域であると判別できるため、壁と床の属性判別の精度を向上させることができる。
【００３５】
図８は、属性判別手段の出力例を示す。（ａ）は床、（ｂ）は左壁、（ｃ）は右壁、（ｄ）は正面壁とそれぞれ判別された場合の出力例である。属性判別手段１５は、静的画像特徴抽出手段１３および動的画像特徴抽出手段１４の出力を用いて、各分割領域８が、床４、左壁５、右壁６、正面壁７のいずれの属性かを判別する。属性判別には、例えば機械学習ベースの識別器を用いることができる。該識別器を用いる場合、予め取得した学習データを利用する。まず、例えば複数の部屋でそれぞれ撮影し、時系列で保存した複数の部屋画像データを取得する。次に、部屋画像を分割した各分割領域ごとに静的画像特徴および動的画像特徴を抽出する。そして、分割領域の位置（Ｘ，Ｙ）、静的画像特徴および動的画像特徴を列記して特徴ベクトルを生成し、各領域について決定した属性と関連付け、学習データとして記憶する。
【００３６】
該学習データを用いることによって、ｎクラスの識別を実行することができる。ｎクラスを識別するために、公知技術である、多クラスサポートベクターマシン(Support Vector Machine(ＳＶＭ))などの識別器、ランダム木（Randamized Trees）などの識別方法が利用可能である。さらに、例えばアダブースト（AdaBoost）、ＳＶＭなどの２クラス識別器を複数組合せて多クラス識別を実現する方法もある。例えば、１対ｎ−１分類器を識別クラスの数だけ学習して最も尤度の高いものを選ぶ方法、または１対１分類器をｎ（ｎ−１）／２個用意し、多数決によって一番多いクラスを決定する方法などが知られている。
【００３７】
ここで、ＳＶＭを用いた、１対ｎ−1分類器の組合せによる属性判別方法について説明する。（ａ）最初に、学習データ中から、床４と属性判別すべきデータを抽出し、該データの属性を１とする。（ｂ）次に、その他の左右正面壁と属性判別すべきデータの属性を−１として学習データを列挙する。（ｃ）そして、ＳＶＭを用いて識別器を学習することにより、床対他分類器を作成する。左壁５、正面壁６、右壁７についても同様に以上のステップを実施し、左壁対他分類器、正面壁対他分類器、右壁対他分類器を作成する。
【００３８】
これら４つの分類器を用いて、属性判別する方法を説明する。最初に、属性判別する分割領域の位置（Ｘ，Ｙ）、抽出した静的画像特徴および動的画像特徴を列記して特徴ベクトルを生成する。次に、この特徴ベクトルを４つの分類器に入力し、サポートベクトル回帰計算を実施する。その結果、該分割領域は、多数決原理により、最も高い値に回帰された属性であると判別することができる。
【００３９】
図９は、部屋境界判定手段の出力例を示す。部屋境界判定手段１６は、属性判別手段１５の出力を基に、床４、左壁５、右壁６、正面壁７の境界を決定する。部屋１の直方体形状に起因する３つの消失点９ａ〜９ｃが既知の場合は、３パラメータ（床と左壁の境界線の切片、床と正面壁の境界線の切片および床と右壁の境界線の切片）を決定することにより、４つの領域を分ける境界線を全て決定することができる。静的画像特徴として「部屋の３消失点方向に向かうエッジ数」を採用した場合は、該消失点９ａ〜９ｃは既知である。
【００４０】
該３パラメータの尤度は、３パラメータにより決まる境界線を描き、各分割領域８に正しい属性と判定された画素がどれだけ存在するかを計数することにより求めることができる。よって、部屋画像において、３パラメータについて全探索を行い、最も尤度の高いパラメータを見つけることにより、床４、左壁５、右壁６、正面壁７の境界線を決定することができる。
【００４１】
ここで、図３（ｂ）では９×９の画素を一分割領域８として、属性判別および部屋境界判定を実施したが、本発明はこれに限定されることはない。より少ない数の画素を一分割領域８とすることで、より精密に各分割領域の部屋境界の判定することができる。一方、より多数の画素を一分割領域８とした場合、属性判別するべき分割領域の数が減少し、より高速に属性判別を実施可能である。よって、一分割領域８の画素数は、所望の処理精度と処理速度とから決定することになる。
【００４２】
次に、空調制御手段２０が行う空調制御について説明する。下記の式（６）は、透視投影と呼ばれる周知の変換方法を表しており、撮影した部屋画像上の座標(ｘ,ｙ)をカメラ座標系の座標(ｘ',ｙ',ｚ')に変換する式である。尚、ｆは既知であるレンズの焦点距離である。
【００４３】
【数４】
【００４４】
部屋境界判定手段１６で決定した、床４、左壁５、右壁６、正面壁７の境界線を上記の式（６）を用いて変換したデータと、既知である撮像手段１１の俯角、および設置された床４からの高さに基づいて、境界線が床平面４においてどの距離に存在するか、更には撮像手段１１から部屋１の左右正面壁５〜７までの距離を算出することができる。また、レンズ歪みについてのデータを、例えば空調制御手段２０に記憶させておくことで、該データを用いて算出した距離を補正することができる。
【００４５】
本実施形態においては、床４、左壁５、右壁６、正面壁７の境界を決定し、撮像手段１１から左右正面壁５〜７までの距離を算出した。一方、例えば撮像手段１１に広角レンズを取り付けて部屋全体を撮影した場合など、撮像手段１１が天井、左壁５、右壁６、正面壁７の境界を撮影する場合には、天井対他分類器などを作成し、天井、左壁５、右壁６、正面壁７の属性を判別し、これらの境界を決定することにより、前記距離を算出してもよい。
【００４６】
空調制御手段２０は、上記のように算出した、撮像手段１１から部屋１の左右正面壁５〜７までの距離と、例えば空気調和機１００内に設置した温度センサによって測定した現在の室温とに基づいて、風温、風向（上下）、風向（左右）および風量を決定し、最適な空調制御を行うことができる。本発明に係る空気調和機では、一般の空気調和機と同様に、風温、風向（上下）、風向（左右）および風量などの設定項目を手動制御することができる。ユーザがこれらの項目の一部について手動制御を選択した場合は、残りの項目について、その部屋に最適な空調制御を行うことができる。
【００４７】
空調制御手段２０はまず、室温、および撮像手段１１から正面壁７までの距離に基づいて、部屋の一番奥（正面壁７）まで風が届くように、風温、風向（上下）、風量を決定する。例えば、室温および正面壁までの距離と、最適な風温、風向（上下）、風量との対応関係を事前にルックアップテーブル化して空調制御手段２０に記憶させ、それを空調制御時に参照することで、風温、風向（上下）、風量を決定することができる。撮像手段１１から正面壁までの距離に応じて、風量をできるだけ抑えることにより、空調時のファンに起因するノイズを低減することができる。
【００４８】
次に、撮像手段１１から左右壁までの距離に基づいて、風向（左右）を決定する。例えば、風向（上下）と同様に、撮像手段１１から左壁５までの距離および右壁６までの距離と最適な風向（左右）との対応関係を事前にルックアップテーブル化して空調制御手段２０に記憶させ、それを空調制御時に参照することで、風向（左右）を決定することができる。
【００４９】
例えば、撮像手段１１から左壁５までの距離が近い場合、左側に送風する際には大きく風向を大きく曲げる必要はなく、風量は少なくすることができる。また、ユーザの状況や、ユーザの選択により、左右にスイングしながら送風する場合がある。その場合、例えば撮像手段１１から左壁５までの距離に比べて右壁６までの距離が大きい場合は、左側に比べて右側に、より風向を大きく曲げ、より風量を多くし、より送風時間を長くする制御を行う。
【００５０】
ルックアップテーブルは、熱流体解析により解析的に作成してもよいし、実験により経験的に作成してもよい。また、ルックアップテーブルを用意せずに、室温、および左右正面壁５〜７までの距離を認識した際に、熱流体解析によりその都度最適な空調制御方法を求めてもよい。
【００５１】
ここで、前述のように、動的画像特徴として「オプティカルフローの方向別頻度」を抽出することにより、人が動き回る領域と、人が一定方向へのみ行き来する出入り口領域との判別が容易になる。よって出入り口領域に比べて人が動き回る領域により送風する制御を行ってもよい。
【００５２】
図１０は、空気調和機の回路構成例を示すブロック図である。図１０を用いて、本実施形態に係る空気調和機１００の動作を説明する。空気調和機１００のユーザが、リモコン（リモートコントローラ）４２を用いて信号をリモコン受信部４３に送信すると、該信号はＣＰＵ（中央処理装置）４０に送信され、メモリ４１に、ユーザが選択した設定が記憶される。
【００５３】
前述した、部屋画像の分割、静的画像特徴および動的画像特徴の抽出、各分割領域８の属性判別、部屋境界の決定、ならびに撮像手段１１から左右正面壁４〜７までの距離の算出は、メモリに予め記憶させたプログラムに従って演算処理等することにより、実行することができる。ＣＰＵ４０は、前記距離、温度センサ５２から出力された現在の室温、およびメモリ４１に記憶された、ユーザが選択した設定などを参照し、空気調和機１００が設置された部屋１に最適な空調制御（風温、風向（上下）、風向（左右）、風量）を決定する。
【００５４】
ＣＰＵ４０が決定した空調制御の情報は、駆動部４５に送られる。駆動部４５は、風温、風向（上下）、風向（左右）、風量の情報に応じて、風温を制御する圧縮機４６、風向（上下）を制御する上下フィン４７、風向（左右）を制御する左右フィン４８、風量を制御する室内ファン４９を駆動する。
【００５５】
以上、本実施形態では、単一の撮像手段１１が撮影した部屋画像を分割した分割領域８ごとに静的画像特徴および動的画像特徴を抽出した。従来、部屋の静止画像のみからは実施することが難しかった各分割領域ごとの属性判別を、動的画像特徴を抽出することで時間方向に拡張して実施できるため、精度が高い属性判別が可能になる。さらに、部屋境界判定手段１６の出力を基に算出した、撮像手段１１から左右正面壁５〜７までの距離を基に、風温、風向（上下）、風向（左右）、および風量を制御することで、空調時のファンに起因するノイズを軽減し、効率性の高い空気調和機を提供することができる。
【００５６】
実施の形態２．
図１１は、本発明の実施の形態２による空気調和機を示すブロック図である。本実施形態において、空気調和機１００は、床上に配置されて送風を妨げる障害物３１の位置を判定する障害物判定手段３０をさらに備える。また、動的画像特徴抽出手段１４は、「急激な輝度変化が短時間に集中して発生する回数」を動的画像特徴としてさらに抽出する。その他の構成は、実施形態１と同様である。
【００５７】
本明細書中、障害物３１は、例えば机、椅子、テレビなど、床の上に存在する家具などであって、奥に風が進むのを妨げる物体を指す。よって、障害物判定手段３０は、部屋境界判定手段１６によって床と判定された分割領域ごとに抽出した静的画像特徴および動的画像特徴に基づいて、障害物３１がどの分割領域に存在するかを判定する。
【００５８】
上述のように、本実施形態においては、「急激な輝度変化が短時間に集中して発生する回数」を動的画像特徴として採用する。「急激な輝度変化」は、前述のように、部屋画像のフレーム間差分を毎時計算し、該差分の絶対値が閾値以上である画素が、分割領域８中に一定回数以上現れた場合とすることができる。また、「短時間に集中して発生する」とは、例えば１分間に１０回以上発生した場合をいい、予め設定しておく。所定の時間に設定回数以上発生した場合に、発生した回数を「急激な輝度変化が短時間に集中して発生する回数」として計数する。
【００５９】
人３が椅子やソファーなどの障害物３１上に座って一定時間滞留している場合や、部屋画像にテレビの画面が移っている場合、限られた領域内で急激な輝度変化が多数発生すると考えられる。よって本動的画像特徴を採用することにより、障害物判定の精度を向上させることができる。
【００６０】
さらに、実施形態１で静的画像特徴として採用した「急激な輝度変化の回数」は、机などの障害物３１が存在するために人が行くことができない領域においては小さくなると考えられるため、障害物判定の精度向上に役立つ。
【００６１】
障害物判定には、属性判別手段１５と同様、機械学習ベースの識別器を用いることができる。学習データにおいて障害物が存在すると判定すべきデータの属性を１、障害物が存在しないと判定すべきデータの属性を−１として学習データを列挙する。次に、ＳＶＭを用いて識別器を学習することにより、障害物識別器を作成する。次に、部屋境界判定手段１６の出力に基づいて床と判定された分割領域ごとに静的画像特徴および動的画像特徴を抽出し、特徴ベクトルを作成する。この特徴ベクトルを障害物識別器に入力してサポートベクトル回帰計算を実施し、多数決原理により障害物の有無を判定する。各分割領域について障害物の有無を判定することにより、障害物の位置を推定することができる。
【００６２】
本実施形態に係る空気調和機１００においても、実施形態１に記載の空調制御に従って、風温、風向（上下）、風向（左右）、風量を決定する。さらに、本実施形態では、空気撮像手段１１から部屋１の左右正面壁５〜７までの距離に加えて、障害物３１の位置が得られるため、さらに細やかな空調制御が可能になる。例えば、空気調和機１００から近い位置に障害物３１が存在するときは、該障害物３１を避けて風向を制御することにより、空調の効率を上げることができる。また、実施形態１に記載の空調制御に従って決定した風向（左右）によって風が進行する先に障害物３１が存在する場合は、障害物３１の奥側にも風が回りこむように、障害物の左右で風量を大きくする制御を行うことができる。
【００６３】
以上、本実施形態では、「急激な輝度変化が短時間に集中して発生する回数」を動的画像特徴として抽出することにより、障害物判定手段３０が実施する障害物判定の精度を向上させることができる。また、静的画像特徴抽出手段１３が抽出する「急激な輝度変化の回数」も、障害物判定の精度を向上させるために役立つ。判定した障害物３１の位置に応じて空調制御することにより、さらに空調の効率を上げることができる。
【符号の説明】
【００６４】
１ 部屋、 ２ 窓、 ３ 人、 ４ 床、 ５ 左壁、 ６ 右壁、 ７ 正面壁、 ８ 分割領域、 ９ａ〜９ｃ 消失点、 １０ 部屋形状認識部、 ２０ 空調制御手段、 １００ 空気調和装置
【特許請求の範囲】
【請求項１】
少なくとも床、左壁、右壁および正面壁を有する部屋を撮影する単一の撮像手段と、
撮像手段が撮影した複数の部屋画像を時系列で記憶する画像記憶手段と、
部屋画像をマトリクス状に分割し、分割領域ごとに静的な画像特徴を抽出する静的画像特徴抽出手段と、
複数の部屋画像における分割領域ごとに動的な画像特徴を抽出する動的画像特徴抽出手段と、
静的画像特徴抽出手段の出力および動的画像特徴抽出手段の出力を基に、該分割領域が床、左壁、右壁または正面壁のいずれの属性かを判別する属性判別手段とを備えたことを特徴とする部屋形状認識装置。
【請求項２】
前記静的画像特徴は、１）平均輝度値、２）平均ＲＧＢ値、３）平均ＨＳＶ値、４）平均エッジ強度、５）エッジ勾配方向ごとの出現頻度、６）輝度分散値、７）エッジ密度、および８）部屋の３消失点方向に向かうエッジ数、から成るグループから選択され、
前記動的画像特徴は、１）急激な輝度変化の発生した回数、２）オプティカルフローの方向別頻度、および３）平均輝度値の推移、から成るグループから選択されることを特徴とする請求項１記載の部屋形状認識装置。
【請求項３】
属性判別手段の出力を基に、床、左壁、右壁、正面壁の境界を決定する部屋境界判定手段を備え、
部屋境界判定手段の出力を基に、撮像手段から左壁、右壁、正面壁までの各距離を算出することを特徴とする請求項１または２記載の部屋形状認識装置。
【請求項４】
床領域に起因する静的画像特徴抽出手段の出力および動的画像特徴抽出手段の出力を基に、送風を妨げる障害物の位置を判定する障害物判定手段を備えたことを特徴とする請求項３記載の部屋形状認識装置。
【請求項５】
請求項１〜３のいずれかに記載の部屋形状認識装置を備えた空気調和機であって、
部屋境界判定手段の出力を基に算出した、撮像手段から左壁、右壁、正面壁までの各距離に基づいて空調制御を行う空調制御手段を備えたことを特徴とする空気調和機。
【請求項６】
請求項４記載の部屋形状認識装置を備えた空気調和機であって、
部屋境界判定手段の出力を基に算出した、撮像手段から左壁、右壁、正面壁までの各距離と、障害物判定手段の出力を基に算出した障害物の位置とに基づいて空調制御を行う空調制御手段を備えたことを特徴とする空気調和機。
【請求項７】
少なくとも床、左壁、右壁および正面壁を有する部屋を撮影するステップと、
撮影した複数の部屋画像を時系列で記憶するステップと、
部屋画像をマトリクス状に分割し、分割領域ごとに静的な画像特徴を抽出するステップと、
複数の部屋画像における分割領域ごとに動的な画像特徴を抽出するステップと、
抽出した静的な画像特徴および動的な画像を基に、該分割領域が床、左壁、右壁または正面壁のいずれの属性かを判別するステップとを含むことを特徴とする部屋形状認識方法。
【請求項８】
前記静的な画像特徴は、１）平均輝度値、２）平均ＲＧＢ値、３）平均ＨＳＶ値、４）平均エッジ強度、５）エッジ勾配方向ごとの出現頻度、６）輝度分散値、７）エッジ密度、および８）部屋の３消失点方向に向かうエッジ数、から成るグループから選択され、
前記動的な画像特徴は、１）急激な輝度変化の発生した回数、２）オプティカルフローの方向別頻度、および３）平均輝度値の推移、から成るグループから選択されることを特徴とする請求項７記載の部屋形状認識方法。
【請求項９】
判別した属性を基に、床、左壁、右壁、正面壁の境界を決定するステップと、
決定した境界を基に、撮像手段から左壁、右壁、正面壁までの各距離を算出するステップとを含むことを特徴とする請求項７または８記載の部屋形状認識方法。
【請求項１０】
床領域に起因する静的な画像特徴および動的な画像特徴を基に、送風を妨げる障害物の位置を判定するステップを含むことを特徴とする請求項９記載の部屋形状認識方法。
【請求項１】
少なくとも床、左壁、右壁および正面壁を有する部屋を撮影する単一の撮像手段と、
撮像手段が撮影した複数の部屋画像を時系列で記憶する画像記憶手段と、
部屋画像をマトリクス状に分割し、分割領域ごとに静的な画像特徴を抽出する静的画像特徴抽出手段と、
複数の部屋画像における分割領域ごとに動的な画像特徴を抽出する動的画像特徴抽出手段と、
静的画像特徴抽出手段の出力および動的画像特徴抽出手段の出力を基に、該分割領域が床、左壁、右壁または正面壁のいずれの属性かを判別する属性判別手段とを備えたことを特徴とする部屋形状認識装置。
【請求項２】
前記静的画像特徴は、１）平均輝度値、２）平均ＲＧＢ値、３）平均ＨＳＶ値、４）平均エッジ強度、５）エッジ勾配方向ごとの出現頻度、６）輝度分散値、７）エッジ密度、および８）部屋の３消失点方向に向かうエッジ数、から成るグループから選択され、
前記動的画像特徴は、１）急激な輝度変化の発生した回数、２）オプティカルフローの方向別頻度、および３）平均輝度値の推移、から成るグループから選択されることを特徴とする請求項１記載の部屋形状認識装置。
【請求項３】
属性判別手段の出力を基に、床、左壁、右壁、正面壁の境界を決定する部屋境界判定手段を備え、
部屋境界判定手段の出力を基に、撮像手段から左壁、右壁、正面壁までの各距離を算出することを特徴とする請求項１または２記載の部屋形状認識装置。
【請求項４】
床領域に起因する静的画像特徴抽出手段の出力および動的画像特徴抽出手段の出力を基に、送風を妨げる障害物の位置を判定する障害物判定手段を備えたことを特徴とする請求項３記載の部屋形状認識装置。
【請求項５】
請求項１〜３のいずれかに記載の部屋形状認識装置を備えた空気調和機であって、
部屋境界判定手段の出力を基に算出した、撮像手段から左壁、右壁、正面壁までの各距離に基づいて空調制御を行う空調制御手段を備えたことを特徴とする空気調和機。
【請求項６】
請求項４記載の部屋形状認識装置を備えた空気調和機であって、
部屋境界判定手段の出力を基に算出した、撮像手段から左壁、右壁、正面壁までの各距離と、障害物判定手段の出力を基に算出した障害物の位置とに基づいて空調制御を行う空調制御手段を備えたことを特徴とする空気調和機。
【請求項７】
少なくとも床、左壁、右壁および正面壁を有する部屋を撮影するステップと、
撮影した複数の部屋画像を時系列で記憶するステップと、
部屋画像をマトリクス状に分割し、分割領域ごとに静的な画像特徴を抽出するステップと、
複数の部屋画像における分割領域ごとに動的な画像特徴を抽出するステップと、
抽出した静的な画像特徴および動的な画像を基に、該分割領域が床、左壁、右壁または正面壁のいずれの属性かを判別するステップとを含むことを特徴とする部屋形状認識方法。
【請求項８】
前記静的な画像特徴は、１）平均輝度値、２）平均ＲＧＢ値、３）平均ＨＳＶ値、４）平均エッジ強度、５）エッジ勾配方向ごとの出現頻度、６）輝度分散値、７）エッジ密度、および８）部屋の３消失点方向に向かうエッジ数、から成るグループから選択され、
前記動的な画像特徴は、１）急激な輝度変化の発生した回数、２）オプティカルフローの方向別頻度、および３）平均輝度値の推移、から成るグループから選択されることを特徴とする請求項７記載の部屋形状認識方法。
【請求項９】
判別した属性を基に、床、左壁、右壁、正面壁の境界を決定するステップと、
決定した境界を基に、撮像手段から左壁、右壁、正面壁までの各距離を算出するステップとを含むことを特徴とする請求項７または８記載の部屋形状認識方法。
【請求項１０】
床領域に起因する静的な画像特徴および動的な画像特徴を基に、送風を妨げる障害物の位置を判定するステップを含むことを特徴とする請求項９記載の部屋形状認識方法。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図９】
【図１０】
【図１１】
【公開番号】特開２０１３−１０８６７１（Ｐ２０１３−１０８６７１Ａ）
【公開日】平成２５年６月６日（２０１３．６．６）
【国際特許分類】
【出願番号】特願２０１１−２５３６１９（Ｐ２０１１−２５３６１９）
【出願日】平成２３年１１月２１日（２０１１．１１．２１）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
【公開日】平成２５年６月６日（２０１３．６．６）
【国際特許分類】
【出願日】平成２３年１１月２１日（２０１１．１１．２１）
【出願人】（０００００６０１３）三菱電機株式会社 (33,312)
【Ｆターム（参考）】
[ Back to top ]