画像処理装置、画像形成装置及びプログラム
【課題】検査画像において局所的な欠陥と全体的な欠陥が複合的に発生した場合に、欠陥の各々に対応する特徴量を抽出する。
【解決手段】画像形成装置は、予め定められた画像を形成した検査画像を取得し、取得した検査画像について階調値の頻度分布を解析し、解析された頻度分布に基づいて階調値の閾値をそれぞれ設定し、それぞれ設定された閾値に基づいて検査画像の画像領域を特定するとともに、特定した画像領域から特徴量を抽出する。
【解決手段】画像形成装置は、予め定められた画像を形成した検査画像を取得し、取得した検査画像について階調値の頻度分布を解析し、解析された頻度分布に基づいて階調値の閾値をそれぞれ設定し、それぞれ設定された閾値に基づいて検査画像の画像領域を特定するとともに、特定した画像領域から特徴量を抽出する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、画像処理装置、画像形成装置及びプログラムに関する。
【背景技術】
【０００２】
プリンタの画像形成に欠陥がある場合に、予め定められた検査画像（テストチャート）を出力し、出力された検査画像を読み取って画像処理することにより、発生している欠陥の種類を判定することがある。こうした方法には、例えば下記の特許文献１に記載されているように、読み取った検査画像の特徴量を抽出して、抽出した特徴量の分布に基づいて欠陥の種類を分類することで、該当する欠陥の種類を判定するものがある。
【特許文献１】特開２００４−１１７１３０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ただし、画像形成装置では、用紙全体にトナーが載るかぶり状の欠陥や、全体的に濃度が薄くなったムラ状の欠陥等が発生することがあり、このような用紙全体に発生するような欠陥と線筋や汚れといった局所的に発生する欠陥とが複合的に発生した場合には、欠陥の各々に対応する特徴量を抽出する必要がある。
【０００４】
本発明の目的は、画像形成において局所的な欠陥と全体的な欠陥が複合的に発生した場合に、欠陥の各々に対応する特徴量を抽出する画像処理装置、画像形成装置及びプログラムを提供することにある。
【課題を解決するための手段】
【０００５】
上記目的を達成するために、請求項１に記載の画像処理装置の発明は、予め定められた画像を形成した検査画像を取得する手段と、前記取得した検査画像について予め定められた閾値に基づき欠陥を検出する手段と、前記欠陥が検出された場合に階調値の頻度分布を解析する手段と、前記解析された頻度分布に基づいて階調値の閾値を設定する閾値設定手段と、前記設定された階調値の閾値に基づいて前記検査画像の画像領域を特定するとともに、当該特定した画像領域から特徴量を抽出する手段と、を含むことを特徴とする。
【０００６】
また、請求項２に記載の発明は、請求項１に記載の画像処理装置において、前記閾値設定手段は、前記頻度分布の極大値の間に閾値を設定することを特徴とする。
【０００７】
また、請求項３に記載の発明は、請求項１又は２に記載の画像処理装置において、予め定められた欠陥の種類毎に特徴量を関連づけて記憶する手段と、前記抽出された特徴量と、前記欠陥の種類毎に関連づけて記憶された特徴量とに基づいて、前記検査画像に含まれる欠陥の種類を判定する手段と、をさらに含むことを特徴とする。
【０００８】
また、請求項４に記載の画像形成装置の発明は、請求項１乃至３のいずれかに記載の画像処理装置と、前記検査画像を形成する画像形成手段と、前記画像形成手段により形成された検査画像を読み取る画像読取手段と、を含むことを特徴とする。
【０００９】
また、請求項５に記載のプログラムの発明は、予め定められた画像を形成した検査画像を取得する手段と、前記取得した検査画像について予め定められた閾値に基づき欠陥を検出する手段と、前記欠陥が検出された場合に階調値の頻度分布を解析する手段と、前記解析された頻度分布に基づいて、階調値の閾値を設定する閾値設定手段と、前記設定された階調値の閾値に基づいて前記検査画像の画像領域を特定するとともに、当該特定した画像領域から特徴量を抽出する手段としてコンピュータを機能させることを特徴とする。
【発明の効果】
【００１０】
請求項１に記載の発明によれば、検査画像において局所的な欠陥と全体的な欠陥が複合的に発生した場合に、欠陥の各々に対応した特徴量が抽出される。
【００１１】
請求項２に記載の発明によれば、検査画像に発生した各欠陥に対応する画像領域が、階調値の頻度分布における極大値に基づいて特定される。
【００１２】
請求項３に記載の発明によれば、抽出した特徴量に基づいて検査画像に発生した欠陥の種類が判定される。
【００１３】
請求項４に記載の発明によれば、画像形成装置が形成した画像に発生した欠陥の各々についての特徴量が取得される。
【００１４】
請求項５に記載の発明によれば、コンピュータが、検査画像において局所的な欠陥と全体的な欠陥が複合的に発生した場合に、複数の欠陥の各々に対応した特徴情報を抽出するように機能する。
【発明を実施するための最良の形態】
【００１５】
以下、本発明を実施するための好適な実施の形態（以下、実施形態という）を、図面に従って説明する。
【００１６】
図１には、本実施形態に係る故障診断機能を有する画像形成装置１０の機能ブロック図を示す。本実施形態に係る画像形成装置１０は、画像形成機能（印刷機能）とスキャン機能を有する多機能プリンタとして構成することとしてよい。
【００１７】
図１に示されるように、画像形成装置１０は、画像形成部１００、画像読取部１０２、センサ部１０４、診断情報入力部１０６、及び故障診断部１０８を含む。各部の機能は、コンピュータ読み取り可能な情報記憶媒体に格納されたプログラムが、図示しない媒体読取装置を用いてコンピュータたる画像形成装置１０に読み込まれ、画像形成装置１０の中央処理装置がプログラムに従って処理することで実現されるものとしてよい。なお、プログラムは情報記憶媒体によって画像形成装置１０に供給されることとしてもよいし、インターネット等のデータ通信ネットワークを介して供給されることとしてもよい。また、ＲＡＭやＲＯＭ等のメモリ素子、ハードディスクなどを含んで構成される記憶装置に、中央処理装置によって実行されるプログラムや、各種のデータを保持するものとしてよい。
【００１８】
画像形成部１００は、画像データに基づいて印刷用紙に画像を形成して出力する機能である。画像形成部１００は、例えば画像データをラスターデータに変換し、当該変換したラスターデータに基づいて感光体にレーザ光により潜在画像を形成するとともに、感光体にトナーを付着させた後に印刷用紙に転写して画像を形成するレーザプリンタの方式により画像を形成することとしてよい。また、画像形成部１００はその他にも、電子写真式、感熱式、熱転写式、インクジェット式等の方式により画像を形成することとしてもよい。
【００１９】
画像読取部１０２は、読み取り対象とする原稿を光学的に読み取りスキャン画像を得る機能である。画像読取部１０２は、原稿を載置するプラテンガラス等の原稿載置台と、原稿載置台に載置された原稿を光学的に読み取る光学系と、光学系により読み取られた画像を画像データに変換する画像処理部とを含み構成される。
【００２０】
センサ部１０４は、複数のセンサを含み構成され、画像形成装置１０の部品の動作状態、内部環境の状態、消耗材の使用状態等を含む画像形成装置１０の状態情報を取得する。
【００２１】
診断情報入力部１０６は、操作パネルを含み、故障診断に用いる情報の入力を受け付ける機能である。診断情報入力部１０６は、例えば利用者からの操作入力や故障診断の開始等の情報入力を受け付けることとしてよい。
【００２２】
故障診断部１０８は、画像読取部１０２、センサ部１０４、診断情報入力部１０６から入力される情報に基づき、画像形成装置１０の故障診断を行う機能である。図２には、故障診断部１０８の詳細を表した機能ブロック図を示す。
【００２３】
図２に示されるように、故障診断部１０８は、部品状態情報取得部２００、内部環境情報取得部２０２、消耗材情報取得部２０４、履歴情報管理部２０６、画像欠陥検出部２０８、特徴量抽出部２１０、欠陥種類判定部２１２、追加操作情報取得部２１４、故障原因推定部２１６、及び診断結果通知部２１８を含む。
【００２４】
部品状態情報取得部２００は、センサ部１０４により取得された情報に基づいて、画像形成装置１０を構成する部品の状態を示す部品状態情報を取得する機能である。部品状態情報取得部２００は、部品状態情報としては、例えば用紙通過時間、駆動電流値、感光体への印可電圧値、振動、作動音や光量等の情報を取得する。
【００２５】
内部環境情報取得部２０２は、センサ部１０４により取得された情報に基づいて、画像形成装置１０の内部環境の状態を示す内部環境情報を取得する機能である。内部環境情報取得部２０２は、内部環境情報としては、例えば装置内温度、装置内湿度、用紙温度、用紙湿度等の情報を取得する。
【００２６】
消耗材情報取得部２０４は、センサ部１０４により取得された情報に基づいて、画像形成装置１０の消耗材の状態を示す消耗材情報を取得する機能である。消耗材情報取得部２０４は、消耗材情報としては、例えば各種印刷用紙の残量や各色のトナー残量等の情報を取得する。
【００２７】
履歴情報管理部２０６は、画像形成装置１０の使用履歴を管理する機能である。履歴情報管理部２０６は、例えば、印刷ジョブの処理履歴や部品毎の印刷枚数を示すカウンタ値、上記の部品状態情報取得部２００、内部環境情報取得部２０２、消耗材情報取得部２０４により取得された各種情報を履歴情報として管理することとしてよい。
【００２８】
画像欠陥検出部２０８は、画像読取部１０２により読み込まれた検査画像から画像欠陥を検出する機能である。画像欠陥検出部２０８は、検査画像について予め定められた階調値の閾値に基づいて検査画像から画像欠陥を検出する。例えば、検査画像が白ベースのテストチャートであれば、背景色に対応した階調値を閾値として設定しておき、検査画像に当該閾値よりも小さい階調値の画素があれば検査画像中に画像の欠陥があるとして検出することとしてよい。
【００２９】
特徴量抽出部２１０は、頻度分布解析部２１０Ａ、閾値設定部２１０Ｂ、及び画像領域特定部２１０Ｃを含み、画像欠陥検出部２０８により画像欠陥があると検出された場合に、各欠陥に対応する画像領域から特徴量を抽出し、各欠陥についての特徴量とする。
【００３０】
頻度分布解析部２１０Ａは、画像読取部１０２により読み込まれた検査画像についての階調値の頻度分布を解析する機能である。頻度分布解析部２１０Ａは、階調値毎に画素数を計数して階調値のヒストグラムを生成することとしてよく、階調値は各色について解析することとしてよい。
【００３１】
閾値設定部２１０Ｂは、頻度分布解析部２１０Ａにより生成された階調値のヒストグラムのピークを検出するとともに、当該検出されたピークに基づいて階調値の閾値を設定する機能である。階調値の閾値は、ピークの間に設定することとしてよく、例えば閾値を２つのピークの階調値の中間値に設定することとしてよい。
【００３２】
画像領域特定部２１０Ｃは、閾値設定部２１０Ｂにより設定された階調値の閾値に基づいて、上記の各ピークに対応する検査画像の画像領域を特定する機能である。
【００３３】
欠陥種類判定部２１２は、特徴量抽出部２１０により抽出された特徴量に基づいて、取得された検査画像に発生している欠陥の種類を判定する機能である。欠陥種類判定部２１２は、予め定められた欠陥の種類について、それら欠陥が発生した特徴的な画像に基づいて各欠陥の種類を表す画像特徴量のクラスタを予め生成しておくとともに、特徴量抽出部２１０により抽出された特徴量がいずれのクラスタに属するのかを、特徴量と各クラスタの代表特徴量との関係に基づいて分類することとしてよい。上記分類の一態様としては、特徴量（特徴ベクトル）と代表特徴量（代表特徴ベクトル）との距離が最も近い代表特徴量に対応するクラスタに分類する基準を用いることとしてよい。なお、欠陥の種類毎の特徴量群の分布情報を利用したマハラノビス距離を用いて欠陥の種類を判定するようにしてもよい。
【００３４】
なお、画像形成装置１０の故障箇所によっては検査画像に画像欠陥が再現されないこともある。例えば、故障箇所がプリントエンジンの部品の場合には、検査画像に欠陥が再現されるが、故障箇所が画像読取部１０２の部品の場合には検査画像には画像欠陥が再現されないことがある。この場合に、検査画像を画像読取部１０２にセットして検査画像を読み取れば、そのスキャン画像には欠陥が現れることとなる。追加操作情報取得部２１４は、このような画像欠陥の原因特定のために、画像形成装置１０の動作条件を変えて行われた追加操作の情報を取得する機能である。追加操作情報取得部２１４により取得された情報は、故障原因推定部２１６に入力される。
【００３５】
故障原因推定部２１６は、推論部２１６Ａと故障候補抽出部２１６Ｂとを含み、各部から入力される情報に基づいて故障原因を推定する機能である。推論部２１６Ａは、例えば、故障を引き起こす各原因候補が、発生した故障の主原因である確率（故障原因確率）を各取得情報に基づいて算出する推論エンジンにより構成されることとしてよい。また、故障候補抽出部２１６Ｂは、推論部２１６Ａにより算出された故障原因確率に基づいて故障原因候補を抽出する。例えば、故障候補抽出部２１６Ｂは、算出された確率が予め設定された値以上の故障原因を抽出してもよいし、算出された確率の高い順に予め設定された順位までの故障原因を抽出することとしてもよい。
【００３６】
ここで、故障原因確率の算出を行う推論エンジンには、ベイジアンネットワーク（ＢａｙｅｓｉａｎＮｅｔｗｏｒｋ）を利用することとしてよい。このベイジアンネットワークとは、複数の事象間の因果関係を順次結線して、グラフ構造を持つネットワークとして表現したものであり、事象間の依存関係を有向グラフにより表したものである。事象毎にノードを作成し、ノードには発生確率を変数として持たせる。推論エンジンには、ベイジアンネットワーク以外にも、エキスパートシステムやニューラルネットワーク等の他の方法を用いてもよい。
【００３７】
推論部２１６Ａは、推論エンジンにベイジアンネットワークを利用する場合には、上記取得された各種情報をベイジアンネットワークに入力して、各ノードの確率値を算出する。そして、故障候補抽出部２１６Ｂは、算出された確率値に基づいて主原因のノードを特定してそれを故障原因の候補として抽出する。このように故障原因推定部２１６により抽出された故障原因の候補に基づいて、故障判定結果（故障の有無、故障箇所、故障内容）、故障予測結果（故障可能性の有無、故障箇所、故障内容）、あるいは検査内容や取得した動作状態信号等を診断結果通知部２１８に出力する。
【００３８】
診断結果通知部２１８は、故障原因推定部２１６から入力された診断結果を利用者等に通知する機能である。診断結果の通知は、画像形成装置１０のディスプレイに表示することで行ってもよいし、画像形成装置１０と接続する管理コンピュータに表示することで行ってもよい。また、診断結果通知部２１８は、診断結果を、例えばネットワークを介して接続された管理サーバに送信してもよいし、画像形成装置１０により出力して、管理者に通知することとしてもよい。
【００３９】
本実施形態に係る画像形成装置１０により行われる故障診断処理のための欠陥の分離処理、及び分離した欠陥から特徴量を得る処理の具体例を、図３乃至図６を参照しながら説明する。
【００４０】
図３には、白ベースの検査画像（テストチャート）を画像形成装置１０により印刷した場合に得られる検査画像の一例を示す。この検査画像には、線筋ＡとトナーかぶりＢが発生していることとする。この線筋Ａは局所的な欠陥であるが、トナーかぶりＢは全体的な欠陥であり両者が複合的に発生しているため、固定値として設定された閾値では両者をそれぞれ分けて抽出することができない。そこで、各欠陥を分けて抽出するために行われる処理を以下に説明する。
【００４１】
まず、頻度分布解析部２１０Ａは、画像読取部１０２により読み取られた検査画像について階調値の頻度分布（ヒストグラム）を解析する。図４には、頻度分布解析部２１０Ａにより解析される階調値のヒストグラムを示す。
【００４２】
図４に示されるように、線筋Ａは濃度が濃く発生領域が小さいため、ヒストグラムの階調値が低いピークＰＡを中心とした分布となり、トナーかぶりＢは濃度が薄く発生領域が大きいため、ヒストグラムの階調値が高いピークＰＢを中心とする分布となる。Ｔｈ０は、白ベースの検査画像について予め設定された閾値であり、ベースの階調値とは異なる階調値が形成されている箇所を抽出するための閾値である。ここで、固定閾値との比較を行うと、欠陥ＡおよびＢの両方に対応する領域が検出されてしまう。
【００４３】
そこで閾値設定部２１０Ｂは、頻度分布解析部２１０Ａにより解析されたヒストグラムに含まれるそれぞれのピークを分離して抽出するための階調値の閾値を設定する。図４に示された例では、閾値設定部２１０Ｂは、ヒストグラムのピークＰＡの分布とピークＰＢの分布とをそれぞれ分離して抽出するために、ピークＰＡとピークＰＢの値との間に階調値の閾値Ｔｈ１を設定する。一例としては、Ｔｈ１をピークＰＡとピークＰＢとの中間値として算出することとしてよい。
【００４４】
画像領域特定部２１０Ｃは、上記設定された閾値に基づいて各欠陥に対応した画像領域を特定する。すなわち、画像領域特定部２１０Ｃは、Ｔｈ１よりも小さい階調値を有する画像領域を抽出することで、線筋Ａに対応する画像領域を特定し、Ｔｈ０とＴｈ１との間の階調値を有する画像領域を特定することでトナーかぶりＢに対応する画像領域を特定するものである。そして、特徴量抽出部２１０は、上記それぞれ特定された画像領域から画像特徴量を抽出する。こうして、各欠陥に対応した画像特徴量が抽出される。なお、上記トナーかぶりＢの特徴量を抽出する際において、除かれた線筋Ａの領域を隣接した画素の階調値を用いて補間処理を行い、トナーかぶりＢの画像領域の画像特徴量を抽出することとしてよい。
【００４５】
図５には、ハーフトーンの検査画像（テストチャート）を画像形成装置１０により印刷した場合に得られる検査画像の一例を示す。図５に示される検査画像には、白抜けＣ、トナーかぶりＤ、線筋Ｅが発生していることとする。上述した白ベースの検査画像と同様に、この検査画像についても階調値の分布を解析し、その結果得られるヒストグラムを図６に示す。
【００４６】
図６に示されているように、図５に示した検査画像における白抜けＣは濃度が低く発生領域が小さいため、ヒストグラムの階調値が最も高い側のピークＰＣを中心とする分布となり、トナーかぶりＤは次に濃度が薄く発生領域は大きいため、ヒストグラムの階調値が高い方から２番目のピークＰＤを中心とする分布となり、線筋Ｅは濃度が濃く発生領域が小さいため、ヒストグラムの階調値が最も低い側のピークＰＥを中心とする分布となる。
【００４７】
ここで、閾値設定部２１０Ｂは以下のようにして階調値の閾値を設定する。なお、ハーフトーンベースの検査画像の場合には、ハーフトーンのベースとなる階調値に基づいて２つの閾値Ｔｈ００及びＴｈ０１が予め設定されている。ハーフトーンの検査画像に欠陥がなければ、ヒストグラムの階調値分布は図６の点線の範囲内、すなわち閾値Ｔｈ００及びＴｈ０１の範囲内に存在することとなる。本実施形態では、欠陥Ｃ，Ｄ，Ｅをそれぞれ分離して抽出するために、固定閾値Ｔｈ００，Ｔｈ０１では分離されない分布の間に閾値を設定する。すなわち、閾値設定部２１０Ｂは、ピークＰＣとピークＰＤとの間に閾値Ｔｈ２を設定する。一例としては、Ｔｈ２をピークＰＣとピークＰＤの中間値として算出することとしてよい。
【００４８】
閾値設定部２１０Ｂによる閾値の設定処理を以下具体的に説明する。まず、閾値設定部２１０Ｂは、階調値の低い方の固定閾値以下の範囲に対してピーク位置を検出し、その結果検出されたピーク位置が一つであれば新たな閾値を設定しない。一方で、ピーク位置が複数設定されれば各ピーク位置の中間値に閾値を設定する。閾値設定部２１０Ｂは、階調値の高い方の固定閾値以上の範囲に対しても同様の処理により閾値を設定する。画像領域特定部２１０Ｃは、上記設定された閾値により各分布に対応する画像領域を特定するとともに、特徴量抽出部２１０は特定された各画像領域から画像特徴量を抽出する。
【００４９】
次に、本実施形態に係る画像形成装置１０により行われる故障診断処理の一連の流れを図７及び図８を参照しながら説明する。図７には、故障診断処理の全体のフロー図を、そして図８には、欠陥特徴量抽出処理のフロー図を示した。
【００５０】
図７に示されるように、画像形成装置１０は、利用者の操作入力に応じて故障診断処理を開始し、故障診断用の検査画像を印刷出力する（Ｓ３０１）。ここで出力する検査画像は、画像形成装置１０に予め記憶されていることとしてよく、発生している画像欠陥に応じて白紙ベースの検査画像とハーフトーンベースの検査画像とを切り替えて出力することとしてよい。例えば発生している画像欠陥が線筋や汚れ等の場合は、白紙ベースの検査画像を出力し、白抜けや濃度ムラなどの場合はハーフトーンベースの検査画像を出力することとしてよい。上記出力される検査画像の種類は利用者の操作入力により選択されることとしてよい。
【００５１】
画像形成装置１０の画像形成部１００から検査画像が出力されると、その検査画像を画像読取部１０２により読み取る（Ｓ３０２）。
【００５２】
次に、画像形成装置１０は、読み取った検査画像について予め定められた閾値に基づいて画像の欠陥を検出する（Ｓ３０３）。なお、画像形成装置１０は、検査画像が白紙ベースの場合には、階調値が閾値よりも低い場合を欠陥として抽出し、検査画像がハーフトーンベースの場合には、予め定められた２つの閾値のうち、値が高い方の閾値より階調値が高い画素がある場合、または値が低い方の閾値より階調値が低い画素がある場合に画像の欠陥を検出するものとしてよい。
【００５３】
画像形成装置１０は、上記処理により画像の欠陥が検出されなかった場合は（Ｓ３０４：Ｎ）、以前に発生した欠陥は偶発的なものであったか、あるいは当該欠陥は既に解決された可能性がある旨を操作パネルに表示して処理を終了する。一方で、欠陥が検出された場合は（Ｓ３０４：Ｙ）、画像形成装置１０は、検出された各欠陥についての特徴量を抽出する（Ｓ３０５）。この抽出処理の詳細については、図８に示すフロー図を参照しながら説明する。
【００５４】
図８は欠陥特徴量抽出処理のフローを示す図である。画像形成装置１０は、読み取った検査画像について階調値のヒストグラムを解析し（Ｓ４０１）、解析して得たヒストグラムのピーク位置を検出する（Ｓ４０２）。ピーク位置の検出は、例えば次のようにして行うこととしてよい。まず、画像形成装置１０は、ヒストグラムの移動平均を求めてノイズ成分を除去し、ノイズ成分を除去したヒストグラムに対して一次微分処理を施す。そして、画像形成装置１０は、極大値、すなわち微分値が０でかつ、その前後の値が正から負に変わる箇所の階調値をピーク位置として検出する。
【００５５】
次に、画像形成装置１０は、上記検出したピークの数を計数する。この際、画像形成装置１０は、読み取った検査画像が白紙ベースの場合は、固定閾値以下の範囲におけるピーク数を計数し、検査画像がハーフトーンベースの場合は、階調値の低い方の固定閾値以下の範囲でのピーク数と、階調値の高い方の固定閾値以上の範囲でのピーク数をそれぞれ計数する。ここで、各範囲において計数されたピーク数がいずれも一つの場合は（Ｓ４０３：Ｎ）、Ｓ３０３で検出した画像領域の特徴量を抽出する（Ｓ４０４）。一方で、いずれかの範囲において計数されたピーク数が２つ以上ある場合は（Ｓ４０３：Ｙ）、その範囲内での各ピーク間の中間階調値を算出しその中間階調値を閾値に設定する（Ｓ４０５）。
【００５６】
次に、画像形成装置１０は、設定した新たな閾値に基づいて欠陥に対応する画像領域を抽出し（Ｓ４０６）、こうして抽出した画像領域から特徴量を抽出する（Ｓ４０７）。画像形成装置１０は、Ｓ３０３で固定閾値により抽出した画像領域についての特徴量を、固定閾値により抽出された画像領域からＳ４０６において抽出された画像領域を除外し、除外した箇所の画像領域を隣接する画素の階調値に基づいて補間して、当該画像領域の特徴量を抽出する（Ｓ４０８）。なお、Ｓ４０５において算出した中間階調値が複数ある場合は、固定閾値との差が一番大きい中間階調値に基づいて抽出された画像領域の特徴量をまず抽出し、以下順にＳ４０７からＳ４０８で説明した手順と同様にして各欠陥に対応した画像領域の特徴量を抽出することとする。以上の処理を終えるとＳ３０５に戻る。
【００５７】
次に、画像形成装置１０は、検出した欠陥に対応した画像領域毎に抽出した特徴量を用いて欠陥の種類を判定する（Ｓ３０６）。本実施形態では、欠陥種類を判定する手法として、欠陥種類を分類するための複数の分類パラメータからなる分類空間を作成し、検査画像から欠陥分類に用いる特徴量を分類パラメータとして抽出して、分類空間においてどの欠陥種類の特徴領域に近いかを判定することで被検査画像の欠陥種類を分類する方法を用いることとしてよい。
【００５８】
次に、画像形成装置１０は、当該装置を構成する各部品の状態情報や、部品ごとの印刷枚数を示すカウンタ値などの履歴情報、装置内部の温度、湿度などの環境情報といった、故障診断に必要な種々のデータを取得する。また、画像形成装置１０は、抽出された各欠陥の特徴量、及び判定された欠陥の種類および上記取得した各種データに基づいて故障原因を推論する（Ｓ３０７）。故障原因の推論は、上記各種データを推論エンジンたるベイジアンネットワークに入力して各故障原因の発生確率を算出することにより行うこととしてよい。
【００５９】
画像形成装置１０は、上記算出された発生確率に基づいて、故障原因となる確率の高い故障原因候補を抽出する（Ｓ３０８）。なお、抽出する故障原因の候補数は予め定めておいてもよいし、利用者により任意の数を入力して指定できるようにしてもよい。画像形成装置１０は、抽出された故障原因を操作パネルに表示して利用者に通知する（Ｓ３０９）。
【００６０】
そして、この段階で追加操作情報がなければ（Ｓ３１０：Ｎ）、すなわち故障原因候補を絞り込むことができていれば、診断処理を一旦終了し、この段階で追加操作情報があれば（Ｓ３１０：Ｙ）、画像形成装置１０は、追加操作情報に従って動作条件を変更して検査画像を再出力する。
【００６１】
再出力された検査画像に基づいて、利用者が追試結果の情報を画像形成装置１０に入力する（Ｓ３１１）。この時の追加操作は、欠陥の発生状態の変化の有無を調べるものであり、例えば画像の拡大・縮小や、イメージパスの各箇所で保持している検査画像の出力等としてよい。従って追試結果は利用者によって操作パネルに容易に入力されるものとなっている。そして、画像形成装置１０は、追加された情報と、既に入力された情報とに基づいて故障原因確率を再計算し、その計算結果から故障候補を絞り込む。ここで故障候補が絞り込めた場合や、追加する情報がない場合は（Ｓ３１０：Ｎ）、診断処理を一旦終了する。そして、次の診断対象となる画像領域がある場合は（Ｓ３１２：Ｙ）、Ｓ３０６に戻って欠陥に対応する画像領域に対する故障診断処理を行い、次の診断対象となる画像領域がない場合は（Ｓ３１２：Ｎ）、処理を終了する。
【００６２】
本実施形態に係る画像形成装置１０では、上記の処理により各画像欠陥を分離して特徴量を抽出し、画像の欠陥種類を判定している。また、判定した欠陥種類に基づいて、故障原因を特定している。
【００６３】
なお、本発明は上記の実施形態に限定されるものではない。例えば、本実施形態では画像形成機能と故障診断機能とを同じ筐体に備えることとしたが、各機能を別々の装置に持たせることとしても構わない。また、本実施形態では、検査画像の１つの色についての処理を説明したが、検査画像がカラー画像である場合には各色について同様の処理を行うことでカラー画像の画像診断にも本発明が適用できることはもちろんである。
【図面の簡単な説明】
【００６４】
【図１】画像形成装置の機能ブロック図である。
【図２】故障診断部の機能ブロック図である。
【図３】白ベースの検査画像の一例を示す図である。
【図４】白ベースの検査画像のヒストグラムである。
【図５】ハーフトーンの検査画像の一例を示す図である。
【図６】ハーフトーンの検査画像のヒストグラムである。
【図７】故障診断処理の全体のフロー図である。
【図８】欠陥特徴量抽出処理のフロー図である。
【符号の説明】
【００６５】
１０ 画像形成装置、１００ 画像形成部、１０２ 画像読取部、１０４ センサ部、１０６ 診断情報入力部、１０８ 故障診断部、２００ 部品状態情報取得部、２０２ 内部環境情報取得部、２０４ 消耗材情報取得部、２０６ 履歴情報管理部、２０８ 画像欠陥検出部、２１０ 特徴量抽出部、２１０Ａ 頻度分布解析部、２１０Ｂ 閾値設定部、２１０Ｃ 画像領域特定部、２１２ 欠陥種類判定部、２１４ 追加操作情報取得部、２１６ 故障原因推定部、２１６Ａ 推論部、２１６Ｂ 故障候補抽出部、２１８ 診断結果通知部。
【技術分野】
【０００１】
本発明は、画像処理装置、画像形成装置及びプログラムに関する。
【背景技術】
【０００２】
プリンタの画像形成に欠陥がある場合に、予め定められた検査画像（テストチャート）を出力し、出力された検査画像を読み取って画像処理することにより、発生している欠陥の種類を判定することがある。こうした方法には、例えば下記の特許文献１に記載されているように、読み取った検査画像の特徴量を抽出して、抽出した特徴量の分布に基づいて欠陥の種類を分類することで、該当する欠陥の種類を判定するものがある。
【特許文献１】特開２００４−１１７１３０号公報
【発明の開示】
【発明が解決しようとする課題】
【０００３】
ただし、画像形成装置では、用紙全体にトナーが載るかぶり状の欠陥や、全体的に濃度が薄くなったムラ状の欠陥等が発生することがあり、このような用紙全体に発生するような欠陥と線筋や汚れといった局所的に発生する欠陥とが複合的に発生した場合には、欠陥の各々に対応する特徴量を抽出する必要がある。
【０００４】
本発明の目的は、画像形成において局所的な欠陥と全体的な欠陥が複合的に発生した場合に、欠陥の各々に対応する特徴量を抽出する画像処理装置、画像形成装置及びプログラムを提供することにある。
【課題を解決するための手段】
【０００５】
上記目的を達成するために、請求項１に記載の画像処理装置の発明は、予め定められた画像を形成した検査画像を取得する手段と、前記取得した検査画像について予め定められた閾値に基づき欠陥を検出する手段と、前記欠陥が検出された場合に階調値の頻度分布を解析する手段と、前記解析された頻度分布に基づいて階調値の閾値を設定する閾値設定手段と、前記設定された階調値の閾値に基づいて前記検査画像の画像領域を特定するとともに、当該特定した画像領域から特徴量を抽出する手段と、を含むことを特徴とする。
【０００６】
また、請求項２に記載の発明は、請求項１に記載の画像処理装置において、前記閾値設定手段は、前記頻度分布の極大値の間に閾値を設定することを特徴とする。
【０００７】
また、請求項３に記載の発明は、請求項１又は２に記載の画像処理装置において、予め定められた欠陥の種類毎に特徴量を関連づけて記憶する手段と、前記抽出された特徴量と、前記欠陥の種類毎に関連づけて記憶された特徴量とに基づいて、前記検査画像に含まれる欠陥の種類を判定する手段と、をさらに含むことを特徴とする。
【０００８】
また、請求項４に記載の画像形成装置の発明は、請求項１乃至３のいずれかに記載の画像処理装置と、前記検査画像を形成する画像形成手段と、前記画像形成手段により形成された検査画像を読み取る画像読取手段と、を含むことを特徴とする。
【０００９】
また、請求項５に記載のプログラムの発明は、予め定められた画像を形成した検査画像を取得する手段と、前記取得した検査画像について予め定められた閾値に基づき欠陥を検出する手段と、前記欠陥が検出された場合に階調値の頻度分布を解析する手段と、前記解析された頻度分布に基づいて、階調値の閾値を設定する閾値設定手段と、前記設定された階調値の閾値に基づいて前記検査画像の画像領域を特定するとともに、当該特定した画像領域から特徴量を抽出する手段としてコンピュータを機能させることを特徴とする。
【発明の効果】
【００１０】
請求項１に記載の発明によれば、検査画像において局所的な欠陥と全体的な欠陥が複合的に発生した場合に、欠陥の各々に対応した特徴量が抽出される。
【００１１】
請求項２に記載の発明によれば、検査画像に発生した各欠陥に対応する画像領域が、階調値の頻度分布における極大値に基づいて特定される。
【００１２】
請求項３に記載の発明によれば、抽出した特徴量に基づいて検査画像に発生した欠陥の種類が判定される。
【００１３】
請求項４に記載の発明によれば、画像形成装置が形成した画像に発生した欠陥の各々についての特徴量が取得される。
【００１４】
請求項５に記載の発明によれば、コンピュータが、検査画像において局所的な欠陥と全体的な欠陥が複合的に発生した場合に、複数の欠陥の各々に対応した特徴情報を抽出するように機能する。
【発明を実施するための最良の形態】
【００１５】
以下、本発明を実施するための好適な実施の形態（以下、実施形態という）を、図面に従って説明する。
【００１６】
図１には、本実施形態に係る故障診断機能を有する画像形成装置１０の機能ブロック図を示す。本実施形態に係る画像形成装置１０は、画像形成機能（印刷機能）とスキャン機能を有する多機能プリンタとして構成することとしてよい。
【００１７】
図１に示されるように、画像形成装置１０は、画像形成部１００、画像読取部１０２、センサ部１０４、診断情報入力部１０６、及び故障診断部１０８を含む。各部の機能は、コンピュータ読み取り可能な情報記憶媒体に格納されたプログラムが、図示しない媒体読取装置を用いてコンピュータたる画像形成装置１０に読み込まれ、画像形成装置１０の中央処理装置がプログラムに従って処理することで実現されるものとしてよい。なお、プログラムは情報記憶媒体によって画像形成装置１０に供給されることとしてもよいし、インターネット等のデータ通信ネットワークを介して供給されることとしてもよい。また、ＲＡＭやＲＯＭ等のメモリ素子、ハードディスクなどを含んで構成される記憶装置に、中央処理装置によって実行されるプログラムや、各種のデータを保持するものとしてよい。
【００１８】
画像形成部１００は、画像データに基づいて印刷用紙に画像を形成して出力する機能である。画像形成部１００は、例えば画像データをラスターデータに変換し、当該変換したラスターデータに基づいて感光体にレーザ光により潜在画像を形成するとともに、感光体にトナーを付着させた後に印刷用紙に転写して画像を形成するレーザプリンタの方式により画像を形成することとしてよい。また、画像形成部１００はその他にも、電子写真式、感熱式、熱転写式、インクジェット式等の方式により画像を形成することとしてもよい。
【００１９】
画像読取部１０２は、読み取り対象とする原稿を光学的に読み取りスキャン画像を得る機能である。画像読取部１０２は、原稿を載置するプラテンガラス等の原稿載置台と、原稿載置台に載置された原稿を光学的に読み取る光学系と、光学系により読み取られた画像を画像データに変換する画像処理部とを含み構成される。
【００２０】
センサ部１０４は、複数のセンサを含み構成され、画像形成装置１０の部品の動作状態、内部環境の状態、消耗材の使用状態等を含む画像形成装置１０の状態情報を取得する。
【００２１】
診断情報入力部１０６は、操作パネルを含み、故障診断に用いる情報の入力を受け付ける機能である。診断情報入力部１０６は、例えば利用者からの操作入力や故障診断の開始等の情報入力を受け付けることとしてよい。
【００２２】
故障診断部１０８は、画像読取部１０２、センサ部１０４、診断情報入力部１０６から入力される情報に基づき、画像形成装置１０の故障診断を行う機能である。図２には、故障診断部１０８の詳細を表した機能ブロック図を示す。
【００２３】
図２に示されるように、故障診断部１０８は、部品状態情報取得部２００、内部環境情報取得部２０２、消耗材情報取得部２０４、履歴情報管理部２０６、画像欠陥検出部２０８、特徴量抽出部２１０、欠陥種類判定部２１２、追加操作情報取得部２１４、故障原因推定部２１６、及び診断結果通知部２１８を含む。
【００２４】
部品状態情報取得部２００は、センサ部１０４により取得された情報に基づいて、画像形成装置１０を構成する部品の状態を示す部品状態情報を取得する機能である。部品状態情報取得部２００は、部品状態情報としては、例えば用紙通過時間、駆動電流値、感光体への印可電圧値、振動、作動音や光量等の情報を取得する。
【００２５】
内部環境情報取得部２０２は、センサ部１０４により取得された情報に基づいて、画像形成装置１０の内部環境の状態を示す内部環境情報を取得する機能である。内部環境情報取得部２０２は、内部環境情報としては、例えば装置内温度、装置内湿度、用紙温度、用紙湿度等の情報を取得する。
【００２６】
消耗材情報取得部２０４は、センサ部１０４により取得された情報に基づいて、画像形成装置１０の消耗材の状態を示す消耗材情報を取得する機能である。消耗材情報取得部２０４は、消耗材情報としては、例えば各種印刷用紙の残量や各色のトナー残量等の情報を取得する。
【００２７】
履歴情報管理部２０６は、画像形成装置１０の使用履歴を管理する機能である。履歴情報管理部２０６は、例えば、印刷ジョブの処理履歴や部品毎の印刷枚数を示すカウンタ値、上記の部品状態情報取得部２００、内部環境情報取得部２０２、消耗材情報取得部２０４により取得された各種情報を履歴情報として管理することとしてよい。
【００２８】
画像欠陥検出部２０８は、画像読取部１０２により読み込まれた検査画像から画像欠陥を検出する機能である。画像欠陥検出部２０８は、検査画像について予め定められた階調値の閾値に基づいて検査画像から画像欠陥を検出する。例えば、検査画像が白ベースのテストチャートであれば、背景色に対応した階調値を閾値として設定しておき、検査画像に当該閾値よりも小さい階調値の画素があれば検査画像中に画像の欠陥があるとして検出することとしてよい。
【００２９】
特徴量抽出部２１０は、頻度分布解析部２１０Ａ、閾値設定部２１０Ｂ、及び画像領域特定部２１０Ｃを含み、画像欠陥検出部２０８により画像欠陥があると検出された場合に、各欠陥に対応する画像領域から特徴量を抽出し、各欠陥についての特徴量とする。
【００３０】
頻度分布解析部２１０Ａは、画像読取部１０２により読み込まれた検査画像についての階調値の頻度分布を解析する機能である。頻度分布解析部２１０Ａは、階調値毎に画素数を計数して階調値のヒストグラムを生成することとしてよく、階調値は各色について解析することとしてよい。
【００３１】
閾値設定部２１０Ｂは、頻度分布解析部２１０Ａにより生成された階調値のヒストグラムのピークを検出するとともに、当該検出されたピークに基づいて階調値の閾値を設定する機能である。階調値の閾値は、ピークの間に設定することとしてよく、例えば閾値を２つのピークの階調値の中間値に設定することとしてよい。
【００３２】
画像領域特定部２１０Ｃは、閾値設定部２１０Ｂにより設定された階調値の閾値に基づいて、上記の各ピークに対応する検査画像の画像領域を特定する機能である。
【００３３】
欠陥種類判定部２１２は、特徴量抽出部２１０により抽出された特徴量に基づいて、取得された検査画像に発生している欠陥の種類を判定する機能である。欠陥種類判定部２１２は、予め定められた欠陥の種類について、それら欠陥が発生した特徴的な画像に基づいて各欠陥の種類を表す画像特徴量のクラスタを予め生成しておくとともに、特徴量抽出部２１０により抽出された特徴量がいずれのクラスタに属するのかを、特徴量と各クラスタの代表特徴量との関係に基づいて分類することとしてよい。上記分類の一態様としては、特徴量（特徴ベクトル）と代表特徴量（代表特徴ベクトル）との距離が最も近い代表特徴量に対応するクラスタに分類する基準を用いることとしてよい。なお、欠陥の種類毎の特徴量群の分布情報を利用したマハラノビス距離を用いて欠陥の種類を判定するようにしてもよい。
【００３４】
なお、画像形成装置１０の故障箇所によっては検査画像に画像欠陥が再現されないこともある。例えば、故障箇所がプリントエンジンの部品の場合には、検査画像に欠陥が再現されるが、故障箇所が画像読取部１０２の部品の場合には検査画像には画像欠陥が再現されないことがある。この場合に、検査画像を画像読取部１０２にセットして検査画像を読み取れば、そのスキャン画像には欠陥が現れることとなる。追加操作情報取得部２１４は、このような画像欠陥の原因特定のために、画像形成装置１０の動作条件を変えて行われた追加操作の情報を取得する機能である。追加操作情報取得部２１４により取得された情報は、故障原因推定部２１６に入力される。
【００３５】
故障原因推定部２１６は、推論部２１６Ａと故障候補抽出部２１６Ｂとを含み、各部から入力される情報に基づいて故障原因を推定する機能である。推論部２１６Ａは、例えば、故障を引き起こす各原因候補が、発生した故障の主原因である確率（故障原因確率）を各取得情報に基づいて算出する推論エンジンにより構成されることとしてよい。また、故障候補抽出部２１６Ｂは、推論部２１６Ａにより算出された故障原因確率に基づいて故障原因候補を抽出する。例えば、故障候補抽出部２１６Ｂは、算出された確率が予め設定された値以上の故障原因を抽出してもよいし、算出された確率の高い順に予め設定された順位までの故障原因を抽出することとしてもよい。
【００３６】
ここで、故障原因確率の算出を行う推論エンジンには、ベイジアンネットワーク（ＢａｙｅｓｉａｎＮｅｔｗｏｒｋ）を利用することとしてよい。このベイジアンネットワークとは、複数の事象間の因果関係を順次結線して、グラフ構造を持つネットワークとして表現したものであり、事象間の依存関係を有向グラフにより表したものである。事象毎にノードを作成し、ノードには発生確率を変数として持たせる。推論エンジンには、ベイジアンネットワーク以外にも、エキスパートシステムやニューラルネットワーク等の他の方法を用いてもよい。
【００３７】
推論部２１６Ａは、推論エンジンにベイジアンネットワークを利用する場合には、上記取得された各種情報をベイジアンネットワークに入力して、各ノードの確率値を算出する。そして、故障候補抽出部２１６Ｂは、算出された確率値に基づいて主原因のノードを特定してそれを故障原因の候補として抽出する。このように故障原因推定部２１６により抽出された故障原因の候補に基づいて、故障判定結果（故障の有無、故障箇所、故障内容）、故障予測結果（故障可能性の有無、故障箇所、故障内容）、あるいは検査内容や取得した動作状態信号等を診断結果通知部２１８に出力する。
【００３８】
診断結果通知部２１８は、故障原因推定部２１６から入力された診断結果を利用者等に通知する機能である。診断結果の通知は、画像形成装置１０のディスプレイに表示することで行ってもよいし、画像形成装置１０と接続する管理コンピュータに表示することで行ってもよい。また、診断結果通知部２１８は、診断結果を、例えばネットワークを介して接続された管理サーバに送信してもよいし、画像形成装置１０により出力して、管理者に通知することとしてもよい。
【００３９】
本実施形態に係る画像形成装置１０により行われる故障診断処理のための欠陥の分離処理、及び分離した欠陥から特徴量を得る処理の具体例を、図３乃至図６を参照しながら説明する。
【００４０】
図３には、白ベースの検査画像（テストチャート）を画像形成装置１０により印刷した場合に得られる検査画像の一例を示す。この検査画像には、線筋ＡとトナーかぶりＢが発生していることとする。この線筋Ａは局所的な欠陥であるが、トナーかぶりＢは全体的な欠陥であり両者が複合的に発生しているため、固定値として設定された閾値では両者をそれぞれ分けて抽出することができない。そこで、各欠陥を分けて抽出するために行われる処理を以下に説明する。
【００４１】
まず、頻度分布解析部２１０Ａは、画像読取部１０２により読み取られた検査画像について階調値の頻度分布（ヒストグラム）を解析する。図４には、頻度分布解析部２１０Ａにより解析される階調値のヒストグラムを示す。
【００４２】
図４に示されるように、線筋Ａは濃度が濃く発生領域が小さいため、ヒストグラムの階調値が低いピークＰＡを中心とした分布となり、トナーかぶりＢは濃度が薄く発生領域が大きいため、ヒストグラムの階調値が高いピークＰＢを中心とする分布となる。Ｔｈ０は、白ベースの検査画像について予め設定された閾値であり、ベースの階調値とは異なる階調値が形成されている箇所を抽出するための閾値である。ここで、固定閾値との比較を行うと、欠陥ＡおよびＢの両方に対応する領域が検出されてしまう。
【００４３】
そこで閾値設定部２１０Ｂは、頻度分布解析部２１０Ａにより解析されたヒストグラムに含まれるそれぞれのピークを分離して抽出するための階調値の閾値を設定する。図４に示された例では、閾値設定部２１０Ｂは、ヒストグラムのピークＰＡの分布とピークＰＢの分布とをそれぞれ分離して抽出するために、ピークＰＡとピークＰＢの値との間に階調値の閾値Ｔｈ１を設定する。一例としては、Ｔｈ１をピークＰＡとピークＰＢとの中間値として算出することとしてよい。
【００４４】
画像領域特定部２１０Ｃは、上記設定された閾値に基づいて各欠陥に対応した画像領域を特定する。すなわち、画像領域特定部２１０Ｃは、Ｔｈ１よりも小さい階調値を有する画像領域を抽出することで、線筋Ａに対応する画像領域を特定し、Ｔｈ０とＴｈ１との間の階調値を有する画像領域を特定することでトナーかぶりＢに対応する画像領域を特定するものである。そして、特徴量抽出部２１０は、上記それぞれ特定された画像領域から画像特徴量を抽出する。こうして、各欠陥に対応した画像特徴量が抽出される。なお、上記トナーかぶりＢの特徴量を抽出する際において、除かれた線筋Ａの領域を隣接した画素の階調値を用いて補間処理を行い、トナーかぶりＢの画像領域の画像特徴量を抽出することとしてよい。
【００４５】
図５には、ハーフトーンの検査画像（テストチャート）を画像形成装置１０により印刷した場合に得られる検査画像の一例を示す。図５に示される検査画像には、白抜けＣ、トナーかぶりＤ、線筋Ｅが発生していることとする。上述した白ベースの検査画像と同様に、この検査画像についても階調値の分布を解析し、その結果得られるヒストグラムを図６に示す。
【００４６】
図６に示されているように、図５に示した検査画像における白抜けＣは濃度が低く発生領域が小さいため、ヒストグラムの階調値が最も高い側のピークＰＣを中心とする分布となり、トナーかぶりＤは次に濃度が薄く発生領域は大きいため、ヒストグラムの階調値が高い方から２番目のピークＰＤを中心とする分布となり、線筋Ｅは濃度が濃く発生領域が小さいため、ヒストグラムの階調値が最も低い側のピークＰＥを中心とする分布となる。
【００４７】
ここで、閾値設定部２１０Ｂは以下のようにして階調値の閾値を設定する。なお、ハーフトーンベースの検査画像の場合には、ハーフトーンのベースとなる階調値に基づいて２つの閾値Ｔｈ００及びＴｈ０１が予め設定されている。ハーフトーンの検査画像に欠陥がなければ、ヒストグラムの階調値分布は図６の点線の範囲内、すなわち閾値Ｔｈ００及びＴｈ０１の範囲内に存在することとなる。本実施形態では、欠陥Ｃ，Ｄ，Ｅをそれぞれ分離して抽出するために、固定閾値Ｔｈ００，Ｔｈ０１では分離されない分布の間に閾値を設定する。すなわち、閾値設定部２１０Ｂは、ピークＰＣとピークＰＤとの間に閾値Ｔｈ２を設定する。一例としては、Ｔｈ２をピークＰＣとピークＰＤの中間値として算出することとしてよい。
【００４８】
閾値設定部２１０Ｂによる閾値の設定処理を以下具体的に説明する。まず、閾値設定部２１０Ｂは、階調値の低い方の固定閾値以下の範囲に対してピーク位置を検出し、その結果検出されたピーク位置が一つであれば新たな閾値を設定しない。一方で、ピーク位置が複数設定されれば各ピーク位置の中間値に閾値を設定する。閾値設定部２１０Ｂは、階調値の高い方の固定閾値以上の範囲に対しても同様の処理により閾値を設定する。画像領域特定部２１０Ｃは、上記設定された閾値により各分布に対応する画像領域を特定するとともに、特徴量抽出部２１０は特定された各画像領域から画像特徴量を抽出する。
【００４９】
次に、本実施形態に係る画像形成装置１０により行われる故障診断処理の一連の流れを図７及び図８を参照しながら説明する。図７には、故障診断処理の全体のフロー図を、そして図８には、欠陥特徴量抽出処理のフロー図を示した。
【００５０】
図７に示されるように、画像形成装置１０は、利用者の操作入力に応じて故障診断処理を開始し、故障診断用の検査画像を印刷出力する（Ｓ３０１）。ここで出力する検査画像は、画像形成装置１０に予め記憶されていることとしてよく、発生している画像欠陥に応じて白紙ベースの検査画像とハーフトーンベースの検査画像とを切り替えて出力することとしてよい。例えば発生している画像欠陥が線筋や汚れ等の場合は、白紙ベースの検査画像を出力し、白抜けや濃度ムラなどの場合はハーフトーンベースの検査画像を出力することとしてよい。上記出力される検査画像の種類は利用者の操作入力により選択されることとしてよい。
【００５１】
画像形成装置１０の画像形成部１００から検査画像が出力されると、その検査画像を画像読取部１０２により読み取る（Ｓ３０２）。
【００５２】
次に、画像形成装置１０は、読み取った検査画像について予め定められた閾値に基づいて画像の欠陥を検出する（Ｓ３０３）。なお、画像形成装置１０は、検査画像が白紙ベースの場合には、階調値が閾値よりも低い場合を欠陥として抽出し、検査画像がハーフトーンベースの場合には、予め定められた２つの閾値のうち、値が高い方の閾値より階調値が高い画素がある場合、または値が低い方の閾値より階調値が低い画素がある場合に画像の欠陥を検出するものとしてよい。
【００５３】
画像形成装置１０は、上記処理により画像の欠陥が検出されなかった場合は（Ｓ３０４：Ｎ）、以前に発生した欠陥は偶発的なものであったか、あるいは当該欠陥は既に解決された可能性がある旨を操作パネルに表示して処理を終了する。一方で、欠陥が検出された場合は（Ｓ３０４：Ｙ）、画像形成装置１０は、検出された各欠陥についての特徴量を抽出する（Ｓ３０５）。この抽出処理の詳細については、図８に示すフロー図を参照しながら説明する。
【００５４】
図８は欠陥特徴量抽出処理のフローを示す図である。画像形成装置１０は、読み取った検査画像について階調値のヒストグラムを解析し（Ｓ４０１）、解析して得たヒストグラムのピーク位置を検出する（Ｓ４０２）。ピーク位置の検出は、例えば次のようにして行うこととしてよい。まず、画像形成装置１０は、ヒストグラムの移動平均を求めてノイズ成分を除去し、ノイズ成分を除去したヒストグラムに対して一次微分処理を施す。そして、画像形成装置１０は、極大値、すなわち微分値が０でかつ、その前後の値が正から負に変わる箇所の階調値をピーク位置として検出する。
【００５５】
次に、画像形成装置１０は、上記検出したピークの数を計数する。この際、画像形成装置１０は、読み取った検査画像が白紙ベースの場合は、固定閾値以下の範囲におけるピーク数を計数し、検査画像がハーフトーンベースの場合は、階調値の低い方の固定閾値以下の範囲でのピーク数と、階調値の高い方の固定閾値以上の範囲でのピーク数をそれぞれ計数する。ここで、各範囲において計数されたピーク数がいずれも一つの場合は（Ｓ４０３：Ｎ）、Ｓ３０３で検出した画像領域の特徴量を抽出する（Ｓ４０４）。一方で、いずれかの範囲において計数されたピーク数が２つ以上ある場合は（Ｓ４０３：Ｙ）、その範囲内での各ピーク間の中間階調値を算出しその中間階調値を閾値に設定する（Ｓ４０５）。
【００５６】
次に、画像形成装置１０は、設定した新たな閾値に基づいて欠陥に対応する画像領域を抽出し（Ｓ４０６）、こうして抽出した画像領域から特徴量を抽出する（Ｓ４０７）。画像形成装置１０は、Ｓ３０３で固定閾値により抽出した画像領域についての特徴量を、固定閾値により抽出された画像領域からＳ４０６において抽出された画像領域を除外し、除外した箇所の画像領域を隣接する画素の階調値に基づいて補間して、当該画像領域の特徴量を抽出する（Ｓ４０８）。なお、Ｓ４０５において算出した中間階調値が複数ある場合は、固定閾値との差が一番大きい中間階調値に基づいて抽出された画像領域の特徴量をまず抽出し、以下順にＳ４０７からＳ４０８で説明した手順と同様にして各欠陥に対応した画像領域の特徴量を抽出することとする。以上の処理を終えるとＳ３０５に戻る。
【００５７】
次に、画像形成装置１０は、検出した欠陥に対応した画像領域毎に抽出した特徴量を用いて欠陥の種類を判定する（Ｓ３０６）。本実施形態では、欠陥種類を判定する手法として、欠陥種類を分類するための複数の分類パラメータからなる分類空間を作成し、検査画像から欠陥分類に用いる特徴量を分類パラメータとして抽出して、分類空間においてどの欠陥種類の特徴領域に近いかを判定することで被検査画像の欠陥種類を分類する方法を用いることとしてよい。
【００５８】
次に、画像形成装置１０は、当該装置を構成する各部品の状態情報や、部品ごとの印刷枚数を示すカウンタ値などの履歴情報、装置内部の温度、湿度などの環境情報といった、故障診断に必要な種々のデータを取得する。また、画像形成装置１０は、抽出された各欠陥の特徴量、及び判定された欠陥の種類および上記取得した各種データに基づいて故障原因を推論する（Ｓ３０７）。故障原因の推論は、上記各種データを推論エンジンたるベイジアンネットワークに入力して各故障原因の発生確率を算出することにより行うこととしてよい。
【００５９】
画像形成装置１０は、上記算出された発生確率に基づいて、故障原因となる確率の高い故障原因候補を抽出する（Ｓ３０８）。なお、抽出する故障原因の候補数は予め定めておいてもよいし、利用者により任意の数を入力して指定できるようにしてもよい。画像形成装置１０は、抽出された故障原因を操作パネルに表示して利用者に通知する（Ｓ３０９）。
【００６０】
そして、この段階で追加操作情報がなければ（Ｓ３１０：Ｎ）、すなわち故障原因候補を絞り込むことができていれば、診断処理を一旦終了し、この段階で追加操作情報があれば（Ｓ３１０：Ｙ）、画像形成装置１０は、追加操作情報に従って動作条件を変更して検査画像を再出力する。
【００６１】
再出力された検査画像に基づいて、利用者が追試結果の情報を画像形成装置１０に入力する（Ｓ３１１）。この時の追加操作は、欠陥の発生状態の変化の有無を調べるものであり、例えば画像の拡大・縮小や、イメージパスの各箇所で保持している検査画像の出力等としてよい。従って追試結果は利用者によって操作パネルに容易に入力されるものとなっている。そして、画像形成装置１０は、追加された情報と、既に入力された情報とに基づいて故障原因確率を再計算し、その計算結果から故障候補を絞り込む。ここで故障候補が絞り込めた場合や、追加する情報がない場合は（Ｓ３１０：Ｎ）、診断処理を一旦終了する。そして、次の診断対象となる画像領域がある場合は（Ｓ３１２：Ｙ）、Ｓ３０６に戻って欠陥に対応する画像領域に対する故障診断処理を行い、次の診断対象となる画像領域がない場合は（Ｓ３１２：Ｎ）、処理を終了する。
【００６２】
本実施形態に係る画像形成装置１０では、上記の処理により各画像欠陥を分離して特徴量を抽出し、画像の欠陥種類を判定している。また、判定した欠陥種類に基づいて、故障原因を特定している。
【００６３】
なお、本発明は上記の実施形態に限定されるものではない。例えば、本実施形態では画像形成機能と故障診断機能とを同じ筐体に備えることとしたが、各機能を別々の装置に持たせることとしても構わない。また、本実施形態では、検査画像の１つの色についての処理を説明したが、検査画像がカラー画像である場合には各色について同様の処理を行うことでカラー画像の画像診断にも本発明が適用できることはもちろんである。
【図面の簡単な説明】
【００６４】
【図１】画像形成装置の機能ブロック図である。
【図２】故障診断部の機能ブロック図である。
【図３】白ベースの検査画像の一例を示す図である。
【図４】白ベースの検査画像のヒストグラムである。
【図５】ハーフトーンの検査画像の一例を示す図である。
【図６】ハーフトーンの検査画像のヒストグラムである。
【図７】故障診断処理の全体のフロー図である。
【図８】欠陥特徴量抽出処理のフロー図である。
【符号の説明】
【００６５】
１０ 画像形成装置、１００ 画像形成部、１０２ 画像読取部、１０４ センサ部、１０６ 診断情報入力部、１０８ 故障診断部、２００ 部品状態情報取得部、２０２ 内部環境情報取得部、２０４ 消耗材情報取得部、２０６ 履歴情報管理部、２０８ 画像欠陥検出部、２１０ 特徴量抽出部、２１０Ａ 頻度分布解析部、２１０Ｂ 閾値設定部、２１０Ｃ 画像領域特定部、２１２ 欠陥種類判定部、２１４ 追加操作情報取得部、２１６ 故障原因推定部、２１６Ａ 推論部、２１６Ｂ 故障候補抽出部、２１８ 診断結果通知部。
【特許請求の範囲】
【請求項１】
予め定められた画像を形成した検査画像を取得する手段と、
前記取得した検査画像について予め定められた閾値に基づき欠陥を検出する手段と、
前記欠陥が検出された場合に階調値の頻度分布を解析する手段と、
前記解析された頻度分布に基づいて階調値の閾値を設定する閾値設定手段と、
前記設定された階調値の閾値に基づいて前記検査画像の画像領域を特定するとともに、当該特定した画像領域から特徴量を抽出する手段と、
を含むことを特徴とする画像処理装置。
【請求項２】
前記閾値設定手段は、前記頻度分布の極大値の間に階調値の閾値を設定する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
予め定められた欠陥の種類毎に特徴量を関連づけて記憶する手段と、
前記抽出された特徴量と、前記欠陥の種類毎に関連づけて記憶された特徴量とに基づいて、前記検査画像に含まれる欠陥の種類を判定する手段と、
をさらに含むことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
請求項１乃至３のいずれかに記載の画像処理装置と、
前記検査画像を形成する画像形成手段と、
前記画像形成手段により形成された検査画像を読み取る画像読取手段と、を含む
ことを特徴とする画像形成装置。
【請求項５】
予め定められた画像を形成した検査画像を取得する手段と、
前記取得した検査画像について予め定められた閾値に基づき欠陥を検出する手段と、
前記欠陥が検出された場合に階調値の頻度分布を解析する手段と、
前記解析された頻度分布に基づいて、階調値の閾値を設定する閾値設定手段と、
前記設定された階調値の閾値に基づいて前記検査画像の画像領域を特定するとともに、当該特定した画像領域から特徴量を抽出する手段としてコンピュータを機能させることを特徴とするプログラム。
【請求項１】
予め定められた画像を形成した検査画像を取得する手段と、
前記取得した検査画像について予め定められた閾値に基づき欠陥を検出する手段と、
前記欠陥が検出された場合に階調値の頻度分布を解析する手段と、
前記解析された頻度分布に基づいて階調値の閾値を設定する閾値設定手段と、
前記設定された階調値の閾値に基づいて前記検査画像の画像領域を特定するとともに、当該特定した画像領域から特徴量を抽出する手段と、
を含むことを特徴とする画像処理装置。
【請求項２】
前記閾値設定手段は、前記頻度分布の極大値の間に階調値の閾値を設定する
ことを特徴とする請求項１に記載の画像処理装置。
【請求項３】
予め定められた欠陥の種類毎に特徴量を関連づけて記憶する手段と、
前記抽出された特徴量と、前記欠陥の種類毎に関連づけて記憶された特徴量とに基づいて、前記検査画像に含まれる欠陥の種類を判定する手段と、
をさらに含むことを特徴とする請求項１又は２に記載の画像処理装置。
【請求項４】
請求項１乃至３のいずれかに記載の画像処理装置と、
前記検査画像を形成する画像形成手段と、
前記画像形成手段により形成された検査画像を読み取る画像読取手段と、を含む
ことを特徴とする画像形成装置。
【請求項５】
予め定められた画像を形成した検査画像を取得する手段と、
前記取得した検査画像について予め定められた閾値に基づき欠陥を検出する手段と、
前記欠陥が検出された場合に階調値の頻度分布を解析する手段と、
前記解析された頻度分布に基づいて、階調値の閾値を設定する閾値設定手段と、
前記設定された階調値の閾値に基づいて前記検査画像の画像領域を特定するとともに、当該特定した画像領域から特徴量を抽出する手段としてコンピュータを機能させることを特徴とするプログラム。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図８】
【公開番号】特開２０１０−３４６７８（Ｐ２０１０−３４６７８Ａ）
【公開日】平成２２年２月１２日（２０１０．２．１２）
【国際特許分類】
【出願番号】特願２００８−１９２３２３（Ｐ２００８−１９２３２３）
【出願日】平成２０年７月２５日（２００８．７．２５）
【出願人】（０００００５４９６）富士ゼロックス株式会社 (21,908)
【Ｆターム（参考）】
【公開日】平成２２年２月１２日（２０１０．２．１２）
【国際特許分類】
【出願日】平成２０年７月２５日（２００８．７．２５）
【出願人】（０００００５４９６）富士ゼロックス株式会社 (21,908)
【Ｆターム（参考）】
[ Back to top ]