画像処理装置
【課題】通信環境が劣化した場合でも、表示装置で表示される画像の画質に係る要素のうち、重要度の高い要素の画質の劣化を抑えることができる画像処理装置を提供する。
【解決手段】記憶回路14は、フレーム画像データを連続的に表示処理して画像を表示する表示装置で表示される画像の画質に係る要素である解像度、色表現、更新周期、及び階調のうち少なくとも２つの要素のフォーマットを規定するデータフォーマットとして、異なる画質に対応する複数のデータフォーマットを記憶すると共に、要素の重要度を示す重要度情報を記憶する。フォーマット決定回路15は、通信環境検出回路16によって通信環境が劣化していると検出された場合、記憶回路14に記憶されている重要度情報に基づいて選択した要素について、現在選択されているデータフォーマットで規定されるフォーマットよりも品質の低いフォーマットが規定されたデータフォーマットを選択する。
【解決手段】記憶回路14は、フレーム画像データを連続的に表示処理して画像を表示する表示装置で表示される画像の画質に係る要素である解像度、色表現、更新周期、及び階調のうち少なくとも２つの要素のフォーマットを規定するデータフォーマットとして、異なる画質に対応する複数のデータフォーマットを記憶すると共に、要素の重要度を示す重要度情報を記憶する。フォーマット決定回路15は、通信環境検出回路16によって通信環境が劣化していると検出された場合、記憶回路14に記憶されている重要度情報に基づいて選択した要素について、現在選択されているデータフォーマットで規定されるフォーマットよりも品質の低いフォーマットが規定されたデータフォーマットを選択する。
【発明の詳細な説明】
【技術分野】
【０００１】
本発明は、撮像装置から入力されるフレーム画像データを画像処理する画像処理装置に関する。
【背景技術】
【０００２】
無線通信回線を用いて画像データを伝送する場合、電磁ノイズにより通信環境が劣化し、所定の画像データを伝送できなくなる場合が発生する。この問題を解決するため、例えば特許文献1では、通信環境に応じて通信プロトコルを切り替えて利用者の不快感を最小限度に留めるシステムが考案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開2003-69472号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献1に記載されたシステムでは、通信環境の劣化が生じた場合に選択される画像フォーマットは予め決められているため、撮像装置や表示装置により、若しくは個々の使用者の好みにより撮像表示システムで個々に決定される表示品質として重視すべき要素の品質の劣化が大きくなる場合がある。
【０００５】
本発明は、上述した課題に鑑みてなされたものであって、通信環境が劣化した場合でも、表示装置で表示される画像の画質に係る要素のうち、重要度の高い要素の画質の劣化を抑えることができる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、上記の課題を解決するためになされたもので、被写体を撮像し、フレーム画像データを連続的に出力する撮像装置から前記フレーム画像データが入力される入力部と、前記フレーム画像データを連続的に表示処理して画像を表示する表示装置で表示される前記画像の画質に係る要素である解像度、色表現、更新周期、及び階調のうち少なくとも２つの要素のフォーマットを規定するデータフォーマットとして、異なる画質に対応する複数のデータフォーマットを記憶すると共に、前記要素の重要度を示す重要度情報を記憶する記憶部と、前記記憶部に記憶されている前記データフォーマットの中から選択されたデータフォーマットに従って、前記入力部に入力された前記フレーム画像データを画像処理する画像処理部と、前記表示装置に対して、前記画像処理部によって画像処理された前記フレーム画像データを連続的に無線送信する無線通信部と、前記無線通信部が前記フレーム画像データを前記無線送信する際の無線通信環境を検出する検出部と、前記記憶部に記憶されている前記データフォーマットの中からいずれかを選択する選択部であって、前記検出部によって前記通信環境が劣化していると検出された場合、前記記憶部に記憶されている前記重要度情報に基づいて選択した前記要素について、現在選択されている前記データフォーマットで規定されるフォーマットよりも品質の低いフォーマットが規定された前記データフォーマットを選択する選択部と、を有する画像処理装置である。
【０００７】
また、本発明の画像処理装置において、前記選択部は、前記検出部によって前記通信環境が劣化していると検出された場合、前記重要度情報によって重要度が他の前記要素よりも低いことが示されている前記要素について、現在選択されている前記データフォーマットで規定されるフォーマットよりも品質の低いフォーマットが規定された前記データフォーマットを選択する。
【０００８】
また、本発明の画像処理装置において、前記記憶部は、ユーザー毎、撮像装置毎、又は前記ユーザーと前記撮像装置の組合せ毎に前記データフォーマットを記憶する。
【０００９】
また、本発明の画像処理装置において、前記記憶部は、複数の第１のデータフォーマットと、前記撮像装置毎の最高品質の画質に対応する第２のデータフォーマットとを記憶し、前記選択部は、前記検出部によって前記通信環境が劣化していると検出された場合、前記記憶部に記憶されている前記重要度情報に基づいて選択した前記要素について、前記入力部に入力される前記フレーム画像データを出力する前記撮像装置に対応する前記第２のデータフォーマットで規定されるフォーマットよりも品質の低い又は品質が同等のフォーマットを規定する前記第１のデータフォーマットであって、現在選択されている前記データフォーマットで規定されるフォーマットよりも品質の低いフォーマットが規定された前記第１のデータフォーマットを選択する。
【００１０】
また、本発明の画像処理装置において、前記記憶部は、複数の第１のデータフォーマットと、前記少なくとも２つの要素のそれぞれの使用可能な最低品質の画質に対応するフォーマットを規定する第２のデータフォーマットとを記憶し、前記選択部は、前記検出部によって前記通信環境が劣化していると検出された場合、前記記憶部に記憶されている前記重要度情報に基づいて選択した前記要素について、前記第２のデータフォーマットで規定されるフォーマットよりも品質の高い又は品質が同等のフォーマットを規定する前記第１のデータフォーマットであって、現在選択されている前記データフォーマットで規定されるフォーマットよりも品質の低いフォーマットが規定された前記第１のデータフォーマットを選択する。
【００１１】
また、本発明の画像処理装置において、記記憶部は、ユーザー毎、撮像装置毎、又は前記ユーザーと前記撮像装置の組合せ毎に前記第２のデータフォーマットを記憶する。
【発明の効果】
【００１２】
本発明によれば、通信環境が劣化していると検出された場合、重要度情報に基づいて選択した要素について、現在選択されているデータフォーマットで規定されるフォーマットよりも品質の低いフォーマットが規定されたデータフォーマットが選択される。これによって、通信環境が劣化した場合でも、表示装置で表示される画像の画質に係る要素のうち、重要度の高い要素の画質の劣化を抑えることができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の一実施形態による撮像表示システムの構成を示すブロック図である。
【図２】本発明の一実施形態による撮像表示システムが有する送信装置の構成を示すブロック図である。
【図３】本発明の一実施形態におけるフォーマット選択表を示す参考図である。
【図４】本発明の一実施形態におけるフォーマット表を示す参考図である。
【図５】本発明の一実施形態におけるフォーマット選択制御情報を示す参考図である。
【図６】本発明の一実施形態におけるフォーマット選択動作の手順を示すフローチャートである。
【図７】本発明の一実施形態におけるフォーマット選択順番表を示す参考図である。
【発明を実施するための形態】
【００１４】
以下、図面を参照し、本発明の実施形態を説明する。以下では、内視鏡、送信装置、受信装置、表示モニタで構成された撮像表示システムに本発明を適用した場合を例に説明を行う。図１は、本発明の一実施形態による撮像表示システムの構成を示している。図1において、カート4には、内視鏡1と、内視鏡1で生成された内視鏡画像や各種制御画面を表示する操作モニタ2と、画像データの無線送信を行う送信装置3とが搭載されている。カート7には、送信装置3から送信される画像データを受信し、映像信号として出力する受信装置5と、受信装置5から出力される映像信号を画像として表示する表示モニタ6とが搭載されている。
【００１５】
内視鏡1は、複数フレームからなる動画像データの各フレームの画像データ（フレーム画像データ）を連続的に生成する。内視鏡1で生成された画像データは、送信装置3から受信装置5に無線伝送され、受信装置5に接続された表示モニタ6に画像が表示される。送信装置3は、内視鏡1から出力された画像データのフォーマットを、通信状況に応じたデータ量のフォーマットに変換し、変換後のデータをパケット化して無線伝送している。また、受信装置5は、受信したパケットから画像データを取り出し、取り出した画像データにフォーマット変換と画像処理を施して映像信号を生成し、表示モニタ6に出力している。表示モニタ6は、映像信号を表示処理して画像を表示する。
【００１６】
図2は、送信装置3の構成を示している。送信装置3は、画像処理回路10と、フォーマット変換回路11と、パケット生成回路12と、RF回路13と、記憶回路14と、フォーマット決定回路15と、通信環境検出回路16と、全体制御回路17と、外部装置インターフェイス回路18と、ユーザーインターフェイス回路19と、アンテナ20と、内視鏡インターフェイス回路21とを有する。
【００１７】
送信装置3には、内視鏡1から、画像データを構成する撮像信号8と、内視鏡制御信号9とが入力される。内視鏡1からの撮像信号8は内視鏡インターフェイス回路21に入力され、画像処理回路10に出力される。画像処理回路10は、撮像信号に対して、所定のフォーマットに対応した画像処理を行い、画像処理後の撮像信号をフォーマット変換回路11に出力する。フォーマット変換回路11は、画像処理回路10から出力された撮像信号のフォーマットを所定のフォーマットに変換し、変換後の撮像信号をパケット生成回路12に出力する。パケット生成回路12は、フォーマット変換回路11から出力された撮像信号をパケット化してRF回路13に出力する。RF回路13は、パケット生成回路12から出力されたパケットを無線化し、アンテナ20を介して送信する。
【００１８】
画像処理回路10が行う画像処理は、例えば、撮像信号8の解像度が1920(H)×1440(V)の時に対応する無線送信時のフォーマットが800(H)×600(V)である場合に、1920(H)×1440(V)のデータにフィルタリング処理を施して画像の歪を除去した800(H)×600(V)のデータを生成するという処理である。このような処理は、フォーマット変換に伴う前処理として公知であるので、これ以上の説明を省略する。
【００１９】
本実施形態は、無線通信環境(以下、通信環境と記載)が劣化し、送信可能なデータ量が減少した場合、減少後のデータ量でも送信可能なフォーマットを使用して通信を行うというものである。無線環境劣化時のフォーマット選択の動作を以下に説明する。
【００２０】
無線環境の状態は、RF回路13での通信状況により把握される。具体的には、無線通信でのパケットの再送状況をRF回路13が通信環境検出回路16に通知し、通信環境検出回路16が、パケットの再送状況に応じて通信環境の変化を検出し、通信可能なデータ量を算出する。
【００２１】
例えば、通信状況が良い場合では1/60秒(約16.7ms)期間に200パケットを伝送可能な無線通信方式を使用していると仮定する。この無線通信方式で、現在の再送パケットの発生率が平均5%であり、再送パケットの発生数が現在の倍になっても大丈夫なように余裕を持たせて送信しようとすると、1画面分に180パケット(200×0.9=180)を使用するフォーマットの画像データを1/60秒毎に送信することが可能である。この時の平均再送パケット数は10である。
【００２２】
通信環境が劣化し、1/60秒(約16.7ms)期間に20パケットの再送が行われた場合、通信路の余裕が全く無くなる。通信路の余裕が全く無くなると、1画面分のデータ転送が途中で途切れることが頻発するため、通信路に余裕を持たせておくことが必要となる。本実施形態では、再送パケットの発生数が現在の倍になっても大丈夫なように余裕を持たせて送信するものとする。
【００２３】
例えば、上記の例の場合、平均再送パケット数が10を越えた時点で通信路に余裕が無くなったと判断し、フォーマットを変更して、1画面の送信に必要なパケット数を削減する。例えば、上記の例の場合、フォーマットを変更した結果、1画面分のデータを100パケットで送信することになったとすると、通信環境の劣化が進んで、平均再送パケット数が50になった時点で、次のフォーマット変更を行うことになる。逆に、通信環境が改善し、平均再送パケット数が、現在のフォーマットに変更した時の判断基準である10の半分である5になった時点で、通信環境が改善したと判断し、元のフォーマットに戻すようにフォーマット変更を行っている。
【００２４】
通信環境検出回路16は、上記の方法で通信路の状況を測定し、通信路の変化が所定時間以上継続した場合、フォーマット決定回路15に通信環境の変化を通知する。フォーマット決定回路15は、通信環境検出回路16から通信環境の変化が通知されると、記憶回路14に記憶されている各種情報を用いて、使用するフォーマットを決定する。フォーマット決定回路15が決定したフォーマットの情報は画像処理回路10及びフォーマット変換回路11に出力され、画像処理回路10及びフォーマット変換回路11での処理に反映される。
【００２５】
記憶回路14は、後述するフォーマット表、フォーマット選択表、フォーマット選択制御情報、フォーマット選択順番表等を記憶する。外部装置インターフェイス回路18は、内視鏡制御信号9を介して内視鏡1と接続されており、内視鏡1を識別する装置ID情報を内視鏡1から取得し、全体制御回路17を介してフォーマット決定回路15に通知する。ユーザーインターフェイス回路19は、ユーザーが入力する各種情報を受け取り、全体制御回路17を介して、記憶回路14に格納する。全体制御回路17は、送信装置3の動作全体を制御する回路である。
【００２６】
図3は、本実施形態におけるフォーマット選択表の例である。フォーマット選択表は、本実施形態で選択可能な画質要素のフォーマットを画質ランク毎に分類したものである。本実施形態では、表示画像の画質を決定する画質要素として、解像度(A)、色表現(B)、更新周期(C)、階調(D)があり、各画質要素について画質ランク毎にフォーマットが規定されている。
【００２７】
例えば、解像度(A)では、画質ランクが1(最高画質)の場合に対応するフォーマットは1920(H)×1440(V)であり、次の画質ランクの場合に対応するフォーマットが1280(H)×960(V)である。この二つのフォーマットでのデータ量の比は、2.25倍である([1920×1440]/[1280×960]=2.25)。以下、図示するような解像度のフォーマットが選択可能となっている。
【００２８】
色表現(B)は、一般的なYCのフォーマットを示している。例えば、画質ランクが1(最高画質)の場合に対応するフォーマットはYUV(4,4,4)であり、Y(輝度)、U，V(色)の比率が1:1:1のフォーマットである。次の画質ランクの場合に対応するフォーマットがYUV(4,2,2)であり、Y(輝度)、U，V(色)の比率が1:0.5:0.5のフォーマットである。この二つのフォーマット間でのデータ量の比は、1.5倍である([1+1+1]/[1+0.5+0.5]=1.5)。以下、図示するようなYCフォーマットが選択可能となっている。
【００２９】
更新周期(C)は、フレームレートのフォーマットを示している。例えば、画質ランクが１(最高画質)の場合に対応するフォーマットは60フレーム/秒であり、次の画質ランクの場合に対応するフォーマットが30フレーム/秒である。この二つのフォーマット間でのデータ量の比は、2倍である(60/30=2)。以下、図示するようなフレームレートのフォーマットが選択可能となっている。
【００３０】
階調(D)は、画素のbit長のフォーマットを示している。例えば、画質ランクが1(最高画質)の場合に対応するフォーマットは12bit長であり、次の画質ランクの場合に対応するフォーマットが10bit長である。この二つのフォーマット間でのデータ量の比は、1.2倍である(12/10=1.2)。以下、図示するような階調のフォーマットが選択可能となっている。
【００３１】
図4は、本実施形態におけるフォーマット表の例である。図4のフォーマット表は、図3に示した各画質要素のフォーマットを組み合わせたデータフォーマットを示している。図4に示すように、図3に示した画質要素の画質ランクに対応するフォーマットナンバーが付けられている。例えば、フォーマットナンバー = 1111は、対応する画質要素のA:解像度の画質ランクが1でそのフォーマットが1920×1440であり、 B:色表現の画質ランクが1でそのフォーマットがYUV(4,4,4)であり、 C:更新周期の画質ランクが1でそのフォーマットが60Hzであり、 D:階調の画質ランクが1でそのフォーマットが12bitであることを示している。
【００３２】
フォーマット決定回路15が選択するデータフォーマットは、図4のフォーマット表のフォーマットナンバーを使用して表現されている。本実施形態では、フォーマットナンバーを構成する4つの数字のそれぞれが4つの画質要素のそれぞれのフォーマットを規定しており、フォーマットナンバー全体が、4つの画質要素のそれぞれのフォーマットの集合体としてのデータフォーマットを示している。
【００３３】
図5は、本実施形態におけるフォーマット選択制御情報の構成例である。フォーマット選択制御情報は、フォーマット決定回路15がフォーマットを決定する際に参照する情報であり、撮像装置の性能に応じた最高画質のデータフォーマット、各ユーザーが指定する最低画質のデータフォーマット、及び各ユーザーが指定する各画質要素の重視度（重要度）を示す情報である。図示するように、フォーマット選択制御情報は、装置ID、ユーザーID、撮像データフォーマット、許容最低画質情報、重視要素情報からなっている。
【００３４】
撮像データフォーマット、許容最低画質情報、重視要素情報のナンバーは、図4のフォーマットナンバーに対応している。また、撮像データフォーマット、許容最低画質情報、重視要素情報では、図4のフォーマット表に示した画質要素の順に情報が並んでいる。装置IDは、送信装置3に接続可能な撮像装置のIDである。尚、図中の装置ID=0000の設定は、デフォルト設定であり、装置IDが不明な撮像装置を使用する場合にフォーマット選択を行う際の設定である。ユーザーIDは、撮像表示システムのユーザー毎のIDである。図中のユーザーID=0000の設定は、装置毎のデフォルト設定であり、ユーザーが指定されていない場合にフォーマット選択を行う際の設定である。
【００３５】
撮像データフォーマットは、撮像装置が出力可能な最高画質のフォーマットを示している。例えば、装置ID=ES02、ユーザーID=D001の撮像データフォーマットは1212であるが、この撮像データフォーマットは図4のフォーマットナンバー1212のデータフォーマットに対応している。また、図中の撮像データフォーマット=0000の設定は、使用している撮像装置が出力可能な最高画質が不明な時のデフォルト設定であり、入力された撮像信号のフォーマットをそのまま撮像データフォーマットとして使用する設定である。
【００３６】
許容最低画質情報は、表示画質として設定可能な最低限の画質を示している。例えば、装置ID=ES02でユーザーID=D001の許容最低画質情報は4324であるが、この許容最低画質情報は図4のフォーマットナンバー4324のデータフォーマットに対応している。
【００３７】
重視要素情報は、フォーマット選択時に重要視する要素の順序と割合を示している。ここでいう順序とは、フォーマット選択時に画質ランクを変化させる画質要素の順番を示している。例えば、装置ID=ES02、ユーザーID=D001の重視要素情報における順序は1234である。これは、重要度に応じた各画質要素の順序を示している。例えば、この例における順序である1234は、解像度(順序1)、色表現(順序2)、更新周期(順序3)、階調(順序4)の順に画質要素を重要視することを示している。
【００３８】
また、ここでいう割合とは、各画質要素を何ランク変化させた時点で次の画質要素を変化させるのかを示している。例えば、装置ID=ES02、ユーザーID= D001の重視要素情報における割合は1111であるが、これは、いずれか1つの画質要素を1ランク変化させた時点で他の画質要素の画質ランクを変化させることを示している。上記の装置ID=ES02、ユーザーID=D001の例では、重視要素情報における順序=1234、割合=1111であるため、階調を1ランク変化させた後、更新周期を1ランク変化させ、その後、色表現を1ランク変化させ、その後、解像度を1ランク変化させることを示している。このように、重要度の低い順に各画質要素の画質ランクが変更される。
【００３９】
ユーザーIDが0000となっている設定以外の設定は、ユーザー毎に指定された設定である。ユーザーは、通信環境の劣化時に許容する最低画質や重視する画質要素の順番を指定することが可能である。ユーザーが許容最低画質情報や重視要素情報の設定を行う場合、ユーザーが指定する内容が、ユーザーインターフェイス回路19を介して全体制御回路17に入力され、更に全体制御回路17によって記憶回路14に格納される。また、装置ID及び撮像データフォーマットは、内視鏡1から内視鏡制御信号9を介して全体制御回路17に通知され、更に全体制御回路17によって記憶回路14に格納される。
【００４０】
図中、装置ID=ES02、ユーザーID=D001の設定では、撮像データフォーマット=1212、許容最低画質情報=4324、重視要素情報=(1234),(1122)となっている。この設定において、撮像装置が出力可能な最高画質のフォーマットは、フォーマットナンバー1212で示される、解像度=1920×1440、色表現=YUV(4,2,2)、フレームレート=60Hz、階調=10bitである。また、この設定において、許容される最低の表示画質は、フォーマットナンバー4324で示される、解像度=800×600、色表現=YUV(4,1,1)、フレームレート=30Hz、階調=6bitである。また、この設定は、フォーマット選択を行う際、解像度、色表現、更新周期、階調の順に画質要素を重視し、通信環境の劣化時には、劣化の度合いに応じて、階調の画質ランクを2段階落とした後、更新周期の画質ランクを2段階落とし、その後、色表現の画質ランクを1段階落とし、その後、解像度の画質ランクを1段階落とし、その後、同様の手順で画質要素を選択して画質ランクを落とすということを示している。
【００４１】
本実施形態では、ユーザーと撮像装置の組合せ毎のフォーマット選択制御情報を使用しているが、撮像装置に依存しないユーザー毎のフォーマット選択制御情報、又はユーザーに依存しない撮像装置毎のフォーマット選択制御情報を使用してもよい。
【００４２】
次に、本実施形態におけるフォーマット選択動作を説明する。図5を参照して説明したように、通信環境の劣化が進行した時と回復した時に選択されるデータフォーマットの順番は、撮像データフォーマット、許容最低画質情報、重視要素情報により予め決定されている。そのため、フォーマット選択動作は、通信環境の劣化が進行したのか、それとも回復したのかを判断し、現在選択されているデータフォーマットを基準にして、予め決まったデータフォーマットを選択するという動作となる。
【００４３】
図6は、フォーマット決定回路15によるフォーマット選択動作を示している。フォーマット決定回路15は、フォーマット選択処理を開始(S1)すると、初期設定(S2)を行う。初期設定(S2)は、フォーマット選択順番表を生成する動作である。
【００４４】
フォーマット選択順番表は、通信環境が変化した時にフォーマット決定回路15が選択するデータフォーマットの順番を示している。図7は、装置ID=ES02、ユーザーID=D001の場合のフォーマット選択順番表である。図5に示したように、装置ID=ES02、ユーザーID=D001の場合、撮像データフォーマット=1212、許容最低画質情報=4324、重視要素情報=(1234),(1122)であるので、フォーマットの選択順は、図7に示した順番になる。
【００４５】
具体的には、通信環境の劣化が無い場合には、撮像データフォーマットであるフォーマットナンバー=1212のデータフォーマットが選択されるので、図7の選択順=1でのフォーマットナンバーは1212となる。通信環境の劣化が進むと、重視要素情報に応じてデータフォーマットが選択される。図7に示したように、通信環境の劣化が進むにつれて、フォーマットナンバー=1213、フォーマットナンバー=1214、フォーマットナンバー=1224の順にデータフォーマットが選択される。
【００４６】
フォーマットナンバー=1224のデータフォーマットが選択されている時、さらに通信環境の劣化が進むと、更新周期(フォーマットナンバー=1224の下位2桁目)が2(30Hz)の状態で、重視要素情報の割合の数値が2に設定されているので、次のデータフォーマットとしてフォーマットナンバー=1234のデータフォーマットが選択される筈である。しかし、許容最低画質情報が4324であるので、フォーマットナンバーの下位2桁目は"3"にはならず、"2"のまま保持される。その代わり、次に変更される画質要素である色表現が1段下がり、フォーマットナンバー=1324のデータフォーマットが次のデータフォーマットとして選択される。以下、図7に示したように、フォーマットナンバー=2324、フォーマットナンバー=3324、フォーマットナンバー=4324(許容最低画質)の順にデータフォーマットが選択される。
【００４７】
初期設定(S2)においてフォーマット決定回路15は、図5に示したフォーマット選択制御情報及び図4に示したフォーマット表に従って、図7に示したフォーマット選択順番表を生成し、記憶回路14に格納する。初期設定(S2)が終了すると、通信環境変化待ち(S3)が行われる。通信環境変化待ち(S3)は、通信環境検出回路16によって通信環境の変化が通知されるのを待つ処理である。
【００４８】
通信環境検出回路16から通信環境が変化したという通知を受けると、フォーマット決定回路15は、通信環境が劣化したのか、それとも改善したのかを判定する(S4)。通信環境が劣化した場合、フォーマット決定回路15は環境劣化時フォーマット選択処理(S5)を実行し、通信環境が改善した場合、フォーマット決定回路15は環境改善時フォーマット選択処理(S6)を実行する。
【００４９】
環境劣化時フォーマット選択処理(S5)は、通信データ量が少なくなるデータフォーマットを選択する処理である。例えば、装置=ES02、ユーザー=D001の状態で通信環境が劣化した場合、図7に示した選択順が加算される方向のデータフォーマットを選択することになる。フォーマット決定回路15が選択したデータフォーマットの情報は、記憶回路14に格納され、次に通信環境が変化した時に基準のデータフォーマットとして使用される。
【００５０】
以下、具体的なデータフォーマットの選択の一例を説明する。図7に示した選択順1のフォーマットナンバー=1212のデータフォーマットが選択されている場合、環境劣化時の最初に選択されるデータフォーマットは、選択順2のフォーマットナンバー=1213のデータフォーマットである。フォーマットナンバー=1213のデータフォーマットにおける各画質要素のフォーマットは、解像度=1920×1440、色表現=YUV(4,2,2)、フレームレート=60Hz、階調=8bitである。
【００５１】
通信環境が更に劣化すると、選択順3のフォーマットナンバー=1214のデータフォーマットが選択される。フォーマットナンバー=1214のデータフォーマットにおける各画質要素のフォーマットは、解像度=1920×1440、色表現=YUV(4,2,2)、フレームレート=60Hz、階調=6bitである。通信環境が更に劣化すると、選択順4のフォーマットナンバー=1224のデータフォーマットが選択される。フォーマットナンバー=1224のデータフォーマットにおける各画質要素のフォーマットは、解像度=1920×1440、色表現=YUV(4,2,2)、フレームレート=30Hz、階調=6bitである。
【００５２】
フォーマットナンバー=1212のデータフォーマットからフォーマット=1224のデータフォーマットまでデータフォーマットが変化した場合、階調が10bitから6bitに変化し、フレームレートが60Hzから30Hzに変化するため、データ量は当初と比べて30%になっている。その場合にも、ユーザーの重視する画質要素である解像度と色表現については当初の画質を保って画像が表示されることになる。
【００５３】
通信環境の劣化が進み、許容最低画質に対応する選択順8のフォーマットナンバー=4324のデータフォーマットが選択された場合、更に通信環境が劣化しても、そのデータフォーマットでの通信が継続される。
【００５４】
環境改善時フォーマット選択処理(S6)は、通信データ量が多くなるデータフォーマットを選択する処理である。例えば、装置=ES02、ユーザー=D001の状態で通信環境が改善した場合、図7に示した選択順が減算される方向のデータフォーマットを選択することになる。フォーマット決定回路15が選択したデータフォーマットの情報は、記憶回路14に格納され、次に通信環境が変化した時に基準のデータフォーマットとして使用される。
【００５５】
例えば、装置=ES02、ユーザー=D001で、現在のデータフォーマットがフォーマットナンバー=1224のデータフォーマットである場合、選択順は4である。そのため、環境改善時フォーマット選択処理(S6)では、選択順が3のフォーマットナンバー=1214のデータフォーマットを選択することになる。
【００５６】
環境劣化時フォーマット選択処理(S5)又は環境改善時フォーマット選択処理(S6)が終了すると、処理は通信環境変化待ち(S3)に戻り、フォーマット決定回路15は次の通信環境の変化の通知を待つ。上記のように、重視要素情報をユーザー毎に設定できるので、ユーザーが重視する画質要素の画質を最後まで保って画像を送ることが可能となる。
【００５７】
上述したように、本実施形態によれば、通信環境が劣化していると検出された場合、ユーザーが重視する画質要素に応じて、現在選択されているデータフォーマットよりも品質の低いデータフォーマットが選択される。これによって、通信環境が劣化した場合でも、表示装置で表示される画像の画質要素のうち、重要度の高い画質要素の劣化を抑えることができる。
【００５８】
また、ユーザー毎、撮像装置毎、又はユーザーと撮像装置の組合せ毎のデータフォーマットを使用することによって、通信環境の劣化時に保持したい画質要素を、撮像装置の特性や、ユーザーの嗜好に応じて選択することができる。また、許容最低画質情報が示す画質を下回らないデータフォーマットを選択することによって、通信環境が大きく劣化した場合でも、最低限度の表示画質を設定することができ、使用不可能なレベルの画像を表示しないようにすることができる。
【００５９】
以上、図面を参照して本発明の実施形態について詳述してきたが、具体的な構成は上記の実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【符号の説明】
【００６０】
1・・・内視鏡、2・・・操作モニタ、3・・・送信装置、4，7・・・カート、5・・・受信装置、6表示モニタ、10・・・画像処理回路（画像処理部）、11・・・フォーマット変換回路、12・・・パケット生成回路、13・・・RF回路（無線通信部）、14・・・記憶回路（記憶部）、15・・・フォーマット決定回路、16・・・通信環境検出回路（検出部）、17・・・全体制御回路、18・・・外部装置インターフェイス回路、19・・・ユーザーインターフェイス回路、20・・・アンテナ、21・・・内視鏡インターフェイス回路（入力部）
【技術分野】
【０００１】
本発明は、撮像装置から入力されるフレーム画像データを画像処理する画像処理装置に関する。
【背景技術】
【０００２】
無線通信回線を用いて画像データを伝送する場合、電磁ノイズにより通信環境が劣化し、所定の画像データを伝送できなくなる場合が発生する。この問題を解決するため、例えば特許文献1では、通信環境に応じて通信プロトコルを切り替えて利用者の不快感を最小限度に留めるシステムが考案されている。
【先行技術文献】
【特許文献】
【０００３】
【特許文献１】特開2003-69472号公報
【発明の概要】
【発明が解決しようとする課題】
【０００４】
しかしながら、特許文献1に記載されたシステムでは、通信環境の劣化が生じた場合に選択される画像フォーマットは予め決められているため、撮像装置や表示装置により、若しくは個々の使用者の好みにより撮像表示システムで個々に決定される表示品質として重視すべき要素の品質の劣化が大きくなる場合がある。
【０００５】
本発明は、上述した課題に鑑みてなされたものであって、通信環境が劣化した場合でも、表示装置で表示される画像の画質に係る要素のうち、重要度の高い要素の画質の劣化を抑えることができる画像処理装置を提供することを目的とする。
【課題を解決するための手段】
【０００６】
本発明は、上記の課題を解決するためになされたもので、被写体を撮像し、フレーム画像データを連続的に出力する撮像装置から前記フレーム画像データが入力される入力部と、前記フレーム画像データを連続的に表示処理して画像を表示する表示装置で表示される前記画像の画質に係る要素である解像度、色表現、更新周期、及び階調のうち少なくとも２つの要素のフォーマットを規定するデータフォーマットとして、異なる画質に対応する複数のデータフォーマットを記憶すると共に、前記要素の重要度を示す重要度情報を記憶する記憶部と、前記記憶部に記憶されている前記データフォーマットの中から選択されたデータフォーマットに従って、前記入力部に入力された前記フレーム画像データを画像処理する画像処理部と、前記表示装置に対して、前記画像処理部によって画像処理された前記フレーム画像データを連続的に無線送信する無線通信部と、前記無線通信部が前記フレーム画像データを前記無線送信する際の無線通信環境を検出する検出部と、前記記憶部に記憶されている前記データフォーマットの中からいずれかを選択する選択部であって、前記検出部によって前記通信環境が劣化していると検出された場合、前記記憶部に記憶されている前記重要度情報に基づいて選択した前記要素について、現在選択されている前記データフォーマットで規定されるフォーマットよりも品質の低いフォーマットが規定された前記データフォーマットを選択する選択部と、を有する画像処理装置である。
【０００７】
また、本発明の画像処理装置において、前記選択部は、前記検出部によって前記通信環境が劣化していると検出された場合、前記重要度情報によって重要度が他の前記要素よりも低いことが示されている前記要素について、現在選択されている前記データフォーマットで規定されるフォーマットよりも品質の低いフォーマットが規定された前記データフォーマットを選択する。
【０００８】
また、本発明の画像処理装置において、前記記憶部は、ユーザー毎、撮像装置毎、又は前記ユーザーと前記撮像装置の組合せ毎に前記データフォーマットを記憶する。
【０００９】
また、本発明の画像処理装置において、前記記憶部は、複数の第１のデータフォーマットと、前記撮像装置毎の最高品質の画質に対応する第２のデータフォーマットとを記憶し、前記選択部は、前記検出部によって前記通信環境が劣化していると検出された場合、前記記憶部に記憶されている前記重要度情報に基づいて選択した前記要素について、前記入力部に入力される前記フレーム画像データを出力する前記撮像装置に対応する前記第２のデータフォーマットで規定されるフォーマットよりも品質の低い又は品質が同等のフォーマットを規定する前記第１のデータフォーマットであって、現在選択されている前記データフォーマットで規定されるフォーマットよりも品質の低いフォーマットが規定された前記第１のデータフォーマットを選択する。
【００１０】
また、本発明の画像処理装置において、前記記憶部は、複数の第１のデータフォーマットと、前記少なくとも２つの要素のそれぞれの使用可能な最低品質の画質に対応するフォーマットを規定する第２のデータフォーマットとを記憶し、前記選択部は、前記検出部によって前記通信環境が劣化していると検出された場合、前記記憶部に記憶されている前記重要度情報に基づいて選択した前記要素について、前記第２のデータフォーマットで規定されるフォーマットよりも品質の高い又は品質が同等のフォーマットを規定する前記第１のデータフォーマットであって、現在選択されている前記データフォーマットで規定されるフォーマットよりも品質の低いフォーマットが規定された前記第１のデータフォーマットを選択する。
【００１１】
また、本発明の画像処理装置において、記記憶部は、ユーザー毎、撮像装置毎、又は前記ユーザーと前記撮像装置の組合せ毎に前記第２のデータフォーマットを記憶する。
【発明の効果】
【００１２】
本発明によれば、通信環境が劣化していると検出された場合、重要度情報に基づいて選択した要素について、現在選択されているデータフォーマットで規定されるフォーマットよりも品質の低いフォーマットが規定されたデータフォーマットが選択される。これによって、通信環境が劣化した場合でも、表示装置で表示される画像の画質に係る要素のうち、重要度の高い要素の画質の劣化を抑えることができる。
【図面の簡単な説明】
【００１３】
【図１】本発明の一実施形態による撮像表示システムの構成を示すブロック図である。
【図２】本発明の一実施形態による撮像表示システムが有する送信装置の構成を示すブロック図である。
【図３】本発明の一実施形態におけるフォーマット選択表を示す参考図である。
【図４】本発明の一実施形態におけるフォーマット表を示す参考図である。
【図５】本発明の一実施形態におけるフォーマット選択制御情報を示す参考図である。
【図６】本発明の一実施形態におけるフォーマット選択動作の手順を示すフローチャートである。
【図７】本発明の一実施形態におけるフォーマット選択順番表を示す参考図である。
【発明を実施するための形態】
【００１４】
以下、図面を参照し、本発明の実施形態を説明する。以下では、内視鏡、送信装置、受信装置、表示モニタで構成された撮像表示システムに本発明を適用した場合を例に説明を行う。図１は、本発明の一実施形態による撮像表示システムの構成を示している。図1において、カート4には、内視鏡1と、内視鏡1で生成された内視鏡画像や各種制御画面を表示する操作モニタ2と、画像データの無線送信を行う送信装置3とが搭載されている。カート7には、送信装置3から送信される画像データを受信し、映像信号として出力する受信装置5と、受信装置5から出力される映像信号を画像として表示する表示モニタ6とが搭載されている。
【００１５】
内視鏡1は、複数フレームからなる動画像データの各フレームの画像データ（フレーム画像データ）を連続的に生成する。内視鏡1で生成された画像データは、送信装置3から受信装置5に無線伝送され、受信装置5に接続された表示モニタ6に画像が表示される。送信装置3は、内視鏡1から出力された画像データのフォーマットを、通信状況に応じたデータ量のフォーマットに変換し、変換後のデータをパケット化して無線伝送している。また、受信装置5は、受信したパケットから画像データを取り出し、取り出した画像データにフォーマット変換と画像処理を施して映像信号を生成し、表示モニタ6に出力している。表示モニタ6は、映像信号を表示処理して画像を表示する。
【００１６】
図2は、送信装置3の構成を示している。送信装置3は、画像処理回路10と、フォーマット変換回路11と、パケット生成回路12と、RF回路13と、記憶回路14と、フォーマット決定回路15と、通信環境検出回路16と、全体制御回路17と、外部装置インターフェイス回路18と、ユーザーインターフェイス回路19と、アンテナ20と、内視鏡インターフェイス回路21とを有する。
【００１７】
送信装置3には、内視鏡1から、画像データを構成する撮像信号8と、内視鏡制御信号9とが入力される。内視鏡1からの撮像信号8は内視鏡インターフェイス回路21に入力され、画像処理回路10に出力される。画像処理回路10は、撮像信号に対して、所定のフォーマットに対応した画像処理を行い、画像処理後の撮像信号をフォーマット変換回路11に出力する。フォーマット変換回路11は、画像処理回路10から出力された撮像信号のフォーマットを所定のフォーマットに変換し、変換後の撮像信号をパケット生成回路12に出力する。パケット生成回路12は、フォーマット変換回路11から出力された撮像信号をパケット化してRF回路13に出力する。RF回路13は、パケット生成回路12から出力されたパケットを無線化し、アンテナ20を介して送信する。
【００１８】
画像処理回路10が行う画像処理は、例えば、撮像信号8の解像度が1920(H)×1440(V)の時に対応する無線送信時のフォーマットが800(H)×600(V)である場合に、1920(H)×1440(V)のデータにフィルタリング処理を施して画像の歪を除去した800(H)×600(V)のデータを生成するという処理である。このような処理は、フォーマット変換に伴う前処理として公知であるので、これ以上の説明を省略する。
【００１９】
本実施形態は、無線通信環境(以下、通信環境と記載)が劣化し、送信可能なデータ量が減少した場合、減少後のデータ量でも送信可能なフォーマットを使用して通信を行うというものである。無線環境劣化時のフォーマット選択の動作を以下に説明する。
【００２０】
無線環境の状態は、RF回路13での通信状況により把握される。具体的には、無線通信でのパケットの再送状況をRF回路13が通信環境検出回路16に通知し、通信環境検出回路16が、パケットの再送状況に応じて通信環境の変化を検出し、通信可能なデータ量を算出する。
【００２１】
例えば、通信状況が良い場合では1/60秒(約16.7ms)期間に200パケットを伝送可能な無線通信方式を使用していると仮定する。この無線通信方式で、現在の再送パケットの発生率が平均5%であり、再送パケットの発生数が現在の倍になっても大丈夫なように余裕を持たせて送信しようとすると、1画面分に180パケット(200×0.9=180)を使用するフォーマットの画像データを1/60秒毎に送信することが可能である。この時の平均再送パケット数は10である。
【００２２】
通信環境が劣化し、1/60秒(約16.7ms)期間に20パケットの再送が行われた場合、通信路の余裕が全く無くなる。通信路の余裕が全く無くなると、1画面分のデータ転送が途中で途切れることが頻発するため、通信路に余裕を持たせておくことが必要となる。本実施形態では、再送パケットの発生数が現在の倍になっても大丈夫なように余裕を持たせて送信するものとする。
【００２３】
例えば、上記の例の場合、平均再送パケット数が10を越えた時点で通信路に余裕が無くなったと判断し、フォーマットを変更して、1画面の送信に必要なパケット数を削減する。例えば、上記の例の場合、フォーマットを変更した結果、1画面分のデータを100パケットで送信することになったとすると、通信環境の劣化が進んで、平均再送パケット数が50になった時点で、次のフォーマット変更を行うことになる。逆に、通信環境が改善し、平均再送パケット数が、現在のフォーマットに変更した時の判断基準である10の半分である5になった時点で、通信環境が改善したと判断し、元のフォーマットに戻すようにフォーマット変更を行っている。
【００２４】
通信環境検出回路16は、上記の方法で通信路の状況を測定し、通信路の変化が所定時間以上継続した場合、フォーマット決定回路15に通信環境の変化を通知する。フォーマット決定回路15は、通信環境検出回路16から通信環境の変化が通知されると、記憶回路14に記憶されている各種情報を用いて、使用するフォーマットを決定する。フォーマット決定回路15が決定したフォーマットの情報は画像処理回路10及びフォーマット変換回路11に出力され、画像処理回路10及びフォーマット変換回路11での処理に反映される。
【００２５】
記憶回路14は、後述するフォーマット表、フォーマット選択表、フォーマット選択制御情報、フォーマット選択順番表等を記憶する。外部装置インターフェイス回路18は、内視鏡制御信号9を介して内視鏡1と接続されており、内視鏡1を識別する装置ID情報を内視鏡1から取得し、全体制御回路17を介してフォーマット決定回路15に通知する。ユーザーインターフェイス回路19は、ユーザーが入力する各種情報を受け取り、全体制御回路17を介して、記憶回路14に格納する。全体制御回路17は、送信装置3の動作全体を制御する回路である。
【００２６】
図3は、本実施形態におけるフォーマット選択表の例である。フォーマット選択表は、本実施形態で選択可能な画質要素のフォーマットを画質ランク毎に分類したものである。本実施形態では、表示画像の画質を決定する画質要素として、解像度(A)、色表現(B)、更新周期(C)、階調(D)があり、各画質要素について画質ランク毎にフォーマットが規定されている。
【００２７】
例えば、解像度(A)では、画質ランクが1(最高画質)の場合に対応するフォーマットは1920(H)×1440(V)であり、次の画質ランクの場合に対応するフォーマットが1280(H)×960(V)である。この二つのフォーマットでのデータ量の比は、2.25倍である([1920×1440]/[1280×960]=2.25)。以下、図示するような解像度のフォーマットが選択可能となっている。
【００２８】
色表現(B)は、一般的なYCのフォーマットを示している。例えば、画質ランクが1(最高画質)の場合に対応するフォーマットはYUV(4,4,4)であり、Y(輝度)、U，V(色)の比率が1:1:1のフォーマットである。次の画質ランクの場合に対応するフォーマットがYUV(4,2,2)であり、Y(輝度)、U，V(色)の比率が1:0.5:0.5のフォーマットである。この二つのフォーマット間でのデータ量の比は、1.5倍である([1+1+1]/[1+0.5+0.5]=1.5)。以下、図示するようなYCフォーマットが選択可能となっている。
【００２９】
更新周期(C)は、フレームレートのフォーマットを示している。例えば、画質ランクが１(最高画質)の場合に対応するフォーマットは60フレーム/秒であり、次の画質ランクの場合に対応するフォーマットが30フレーム/秒である。この二つのフォーマット間でのデータ量の比は、2倍である(60/30=2)。以下、図示するようなフレームレートのフォーマットが選択可能となっている。
【００３０】
階調(D)は、画素のbit長のフォーマットを示している。例えば、画質ランクが1(最高画質)の場合に対応するフォーマットは12bit長であり、次の画質ランクの場合に対応するフォーマットが10bit長である。この二つのフォーマット間でのデータ量の比は、1.2倍である(12/10=1.2)。以下、図示するような階調のフォーマットが選択可能となっている。
【００３１】
図4は、本実施形態におけるフォーマット表の例である。図4のフォーマット表は、図3に示した各画質要素のフォーマットを組み合わせたデータフォーマットを示している。図4に示すように、図3に示した画質要素の画質ランクに対応するフォーマットナンバーが付けられている。例えば、フォーマットナンバー = 1111は、対応する画質要素のA:解像度の画質ランクが1でそのフォーマットが1920×1440であり、 B:色表現の画質ランクが1でそのフォーマットがYUV(4,4,4)であり、 C:更新周期の画質ランクが1でそのフォーマットが60Hzであり、 D:階調の画質ランクが1でそのフォーマットが12bitであることを示している。
【００３２】
フォーマット決定回路15が選択するデータフォーマットは、図4のフォーマット表のフォーマットナンバーを使用して表現されている。本実施形態では、フォーマットナンバーを構成する4つの数字のそれぞれが4つの画質要素のそれぞれのフォーマットを規定しており、フォーマットナンバー全体が、4つの画質要素のそれぞれのフォーマットの集合体としてのデータフォーマットを示している。
【００３３】
図5は、本実施形態におけるフォーマット選択制御情報の構成例である。フォーマット選択制御情報は、フォーマット決定回路15がフォーマットを決定する際に参照する情報であり、撮像装置の性能に応じた最高画質のデータフォーマット、各ユーザーが指定する最低画質のデータフォーマット、及び各ユーザーが指定する各画質要素の重視度（重要度）を示す情報である。図示するように、フォーマット選択制御情報は、装置ID、ユーザーID、撮像データフォーマット、許容最低画質情報、重視要素情報からなっている。
【００３４】
撮像データフォーマット、許容最低画質情報、重視要素情報のナンバーは、図4のフォーマットナンバーに対応している。また、撮像データフォーマット、許容最低画質情報、重視要素情報では、図4のフォーマット表に示した画質要素の順に情報が並んでいる。装置IDは、送信装置3に接続可能な撮像装置のIDである。尚、図中の装置ID=0000の設定は、デフォルト設定であり、装置IDが不明な撮像装置を使用する場合にフォーマット選択を行う際の設定である。ユーザーIDは、撮像表示システムのユーザー毎のIDである。図中のユーザーID=0000の設定は、装置毎のデフォルト設定であり、ユーザーが指定されていない場合にフォーマット選択を行う際の設定である。
【００３５】
撮像データフォーマットは、撮像装置が出力可能な最高画質のフォーマットを示している。例えば、装置ID=ES02、ユーザーID=D001の撮像データフォーマットは1212であるが、この撮像データフォーマットは図4のフォーマットナンバー1212のデータフォーマットに対応している。また、図中の撮像データフォーマット=0000の設定は、使用している撮像装置が出力可能な最高画質が不明な時のデフォルト設定であり、入力された撮像信号のフォーマットをそのまま撮像データフォーマットとして使用する設定である。
【００３６】
許容最低画質情報は、表示画質として設定可能な最低限の画質を示している。例えば、装置ID=ES02でユーザーID=D001の許容最低画質情報は4324であるが、この許容最低画質情報は図4のフォーマットナンバー4324のデータフォーマットに対応している。
【００３７】
重視要素情報は、フォーマット選択時に重要視する要素の順序と割合を示している。ここでいう順序とは、フォーマット選択時に画質ランクを変化させる画質要素の順番を示している。例えば、装置ID=ES02、ユーザーID=D001の重視要素情報における順序は1234である。これは、重要度に応じた各画質要素の順序を示している。例えば、この例における順序である1234は、解像度(順序1)、色表現(順序2)、更新周期(順序3)、階調(順序4)の順に画質要素を重要視することを示している。
【００３８】
また、ここでいう割合とは、各画質要素を何ランク変化させた時点で次の画質要素を変化させるのかを示している。例えば、装置ID=ES02、ユーザーID= D001の重視要素情報における割合は1111であるが、これは、いずれか1つの画質要素を1ランク変化させた時点で他の画質要素の画質ランクを変化させることを示している。上記の装置ID=ES02、ユーザーID=D001の例では、重視要素情報における順序=1234、割合=1111であるため、階調を1ランク変化させた後、更新周期を1ランク変化させ、その後、色表現を1ランク変化させ、その後、解像度を1ランク変化させることを示している。このように、重要度の低い順に各画質要素の画質ランクが変更される。
【００３９】
ユーザーIDが0000となっている設定以外の設定は、ユーザー毎に指定された設定である。ユーザーは、通信環境の劣化時に許容する最低画質や重視する画質要素の順番を指定することが可能である。ユーザーが許容最低画質情報や重視要素情報の設定を行う場合、ユーザーが指定する内容が、ユーザーインターフェイス回路19を介して全体制御回路17に入力され、更に全体制御回路17によって記憶回路14に格納される。また、装置ID及び撮像データフォーマットは、内視鏡1から内視鏡制御信号9を介して全体制御回路17に通知され、更に全体制御回路17によって記憶回路14に格納される。
【００４０】
図中、装置ID=ES02、ユーザーID=D001の設定では、撮像データフォーマット=1212、許容最低画質情報=4324、重視要素情報=(1234),(1122)となっている。この設定において、撮像装置が出力可能な最高画質のフォーマットは、フォーマットナンバー1212で示される、解像度=1920×1440、色表現=YUV(4,2,2)、フレームレート=60Hz、階調=10bitである。また、この設定において、許容される最低の表示画質は、フォーマットナンバー4324で示される、解像度=800×600、色表現=YUV(4,1,1)、フレームレート=30Hz、階調=6bitである。また、この設定は、フォーマット選択を行う際、解像度、色表現、更新周期、階調の順に画質要素を重視し、通信環境の劣化時には、劣化の度合いに応じて、階調の画質ランクを2段階落とした後、更新周期の画質ランクを2段階落とし、その後、色表現の画質ランクを1段階落とし、その後、解像度の画質ランクを1段階落とし、その後、同様の手順で画質要素を選択して画質ランクを落とすということを示している。
【００４１】
本実施形態では、ユーザーと撮像装置の組合せ毎のフォーマット選択制御情報を使用しているが、撮像装置に依存しないユーザー毎のフォーマット選択制御情報、又はユーザーに依存しない撮像装置毎のフォーマット選択制御情報を使用してもよい。
【００４２】
次に、本実施形態におけるフォーマット選択動作を説明する。図5を参照して説明したように、通信環境の劣化が進行した時と回復した時に選択されるデータフォーマットの順番は、撮像データフォーマット、許容最低画質情報、重視要素情報により予め決定されている。そのため、フォーマット選択動作は、通信環境の劣化が進行したのか、それとも回復したのかを判断し、現在選択されているデータフォーマットを基準にして、予め決まったデータフォーマットを選択するという動作となる。
【００４３】
図6は、フォーマット決定回路15によるフォーマット選択動作を示している。フォーマット決定回路15は、フォーマット選択処理を開始(S1)すると、初期設定(S2)を行う。初期設定(S2)は、フォーマット選択順番表を生成する動作である。
【００４４】
フォーマット選択順番表は、通信環境が変化した時にフォーマット決定回路15が選択するデータフォーマットの順番を示している。図7は、装置ID=ES02、ユーザーID=D001の場合のフォーマット選択順番表である。図5に示したように、装置ID=ES02、ユーザーID=D001の場合、撮像データフォーマット=1212、許容最低画質情報=4324、重視要素情報=(1234),(1122)であるので、フォーマットの選択順は、図7に示した順番になる。
【００４５】
具体的には、通信環境の劣化が無い場合には、撮像データフォーマットであるフォーマットナンバー=1212のデータフォーマットが選択されるので、図7の選択順=1でのフォーマットナンバーは1212となる。通信環境の劣化が進むと、重視要素情報に応じてデータフォーマットが選択される。図7に示したように、通信環境の劣化が進むにつれて、フォーマットナンバー=1213、フォーマットナンバー=1214、フォーマットナンバー=1224の順にデータフォーマットが選択される。
【００４６】
フォーマットナンバー=1224のデータフォーマットが選択されている時、さらに通信環境の劣化が進むと、更新周期(フォーマットナンバー=1224の下位2桁目)が2(30Hz)の状態で、重視要素情報の割合の数値が2に設定されているので、次のデータフォーマットとしてフォーマットナンバー=1234のデータフォーマットが選択される筈である。しかし、許容最低画質情報が4324であるので、フォーマットナンバーの下位2桁目は"3"にはならず、"2"のまま保持される。その代わり、次に変更される画質要素である色表現が1段下がり、フォーマットナンバー=1324のデータフォーマットが次のデータフォーマットとして選択される。以下、図7に示したように、フォーマットナンバー=2324、フォーマットナンバー=3324、フォーマットナンバー=4324(許容最低画質)の順にデータフォーマットが選択される。
【００４７】
初期設定(S2)においてフォーマット決定回路15は、図5に示したフォーマット選択制御情報及び図4に示したフォーマット表に従って、図7に示したフォーマット選択順番表を生成し、記憶回路14に格納する。初期設定(S2)が終了すると、通信環境変化待ち(S3)が行われる。通信環境変化待ち(S3)は、通信環境検出回路16によって通信環境の変化が通知されるのを待つ処理である。
【００４８】
通信環境検出回路16から通信環境が変化したという通知を受けると、フォーマット決定回路15は、通信環境が劣化したのか、それとも改善したのかを判定する(S4)。通信環境が劣化した場合、フォーマット決定回路15は環境劣化時フォーマット選択処理(S5)を実行し、通信環境が改善した場合、フォーマット決定回路15は環境改善時フォーマット選択処理(S6)を実行する。
【００４９】
環境劣化時フォーマット選択処理(S5)は、通信データ量が少なくなるデータフォーマットを選択する処理である。例えば、装置=ES02、ユーザー=D001の状態で通信環境が劣化した場合、図7に示した選択順が加算される方向のデータフォーマットを選択することになる。フォーマット決定回路15が選択したデータフォーマットの情報は、記憶回路14に格納され、次に通信環境が変化した時に基準のデータフォーマットとして使用される。
【００５０】
以下、具体的なデータフォーマットの選択の一例を説明する。図7に示した選択順1のフォーマットナンバー=1212のデータフォーマットが選択されている場合、環境劣化時の最初に選択されるデータフォーマットは、選択順2のフォーマットナンバー=1213のデータフォーマットである。フォーマットナンバー=1213のデータフォーマットにおける各画質要素のフォーマットは、解像度=1920×1440、色表現=YUV(4,2,2)、フレームレート=60Hz、階調=8bitである。
【００５１】
通信環境が更に劣化すると、選択順3のフォーマットナンバー=1214のデータフォーマットが選択される。フォーマットナンバー=1214のデータフォーマットにおける各画質要素のフォーマットは、解像度=1920×1440、色表現=YUV(4,2,2)、フレームレート=60Hz、階調=6bitである。通信環境が更に劣化すると、選択順4のフォーマットナンバー=1224のデータフォーマットが選択される。フォーマットナンバー=1224のデータフォーマットにおける各画質要素のフォーマットは、解像度=1920×1440、色表現=YUV(4,2,2)、フレームレート=30Hz、階調=6bitである。
【００５２】
フォーマットナンバー=1212のデータフォーマットからフォーマット=1224のデータフォーマットまでデータフォーマットが変化した場合、階調が10bitから6bitに変化し、フレームレートが60Hzから30Hzに変化するため、データ量は当初と比べて30%になっている。その場合にも、ユーザーの重視する画質要素である解像度と色表現については当初の画質を保って画像が表示されることになる。
【００５３】
通信環境の劣化が進み、許容最低画質に対応する選択順8のフォーマットナンバー=4324のデータフォーマットが選択された場合、更に通信環境が劣化しても、そのデータフォーマットでの通信が継続される。
【００５４】
環境改善時フォーマット選択処理(S6)は、通信データ量が多くなるデータフォーマットを選択する処理である。例えば、装置=ES02、ユーザー=D001の状態で通信環境が改善した場合、図7に示した選択順が減算される方向のデータフォーマットを選択することになる。フォーマット決定回路15が選択したデータフォーマットの情報は、記憶回路14に格納され、次に通信環境が変化した時に基準のデータフォーマットとして使用される。
【００５５】
例えば、装置=ES02、ユーザー=D001で、現在のデータフォーマットがフォーマットナンバー=1224のデータフォーマットである場合、選択順は4である。そのため、環境改善時フォーマット選択処理(S6)では、選択順が3のフォーマットナンバー=1214のデータフォーマットを選択することになる。
【００５６】
環境劣化時フォーマット選択処理(S5)又は環境改善時フォーマット選択処理(S6)が終了すると、処理は通信環境変化待ち(S3)に戻り、フォーマット決定回路15は次の通信環境の変化の通知を待つ。上記のように、重視要素情報をユーザー毎に設定できるので、ユーザーが重視する画質要素の画質を最後まで保って画像を送ることが可能となる。
【００５７】
上述したように、本実施形態によれば、通信環境が劣化していると検出された場合、ユーザーが重視する画質要素に応じて、現在選択されているデータフォーマットよりも品質の低いデータフォーマットが選択される。これによって、通信環境が劣化した場合でも、表示装置で表示される画像の画質要素のうち、重要度の高い画質要素の劣化を抑えることができる。
【００５８】
また、ユーザー毎、撮像装置毎、又はユーザーと撮像装置の組合せ毎のデータフォーマットを使用することによって、通信環境の劣化時に保持したい画質要素を、撮像装置の特性や、ユーザーの嗜好に応じて選択することができる。また、許容最低画質情報が示す画質を下回らないデータフォーマットを選択することによって、通信環境が大きく劣化した場合でも、最低限度の表示画質を設定することができ、使用不可能なレベルの画像を表示しないようにすることができる。
【００５９】
以上、図面を参照して本発明の実施形態について詳述してきたが、具体的な構成は上記の実施形態に限られるものではなく、本発明の要旨を逸脱しない範囲の設計変更等も含まれる。
【符号の説明】
【００６０】
1・・・内視鏡、2・・・操作モニタ、3・・・送信装置、4，7・・・カート、5・・・受信装置、6表示モニタ、10・・・画像処理回路（画像処理部）、11・・・フォーマット変換回路、12・・・パケット生成回路、13・・・RF回路（無線通信部）、14・・・記憶回路（記憶部）、15・・・フォーマット決定回路、16・・・通信環境検出回路（検出部）、17・・・全体制御回路、18・・・外部装置インターフェイス回路、19・・・ユーザーインターフェイス回路、20・・・アンテナ、21・・・内視鏡インターフェイス回路（入力部）
【特許請求の範囲】
【請求項１】
被写体を撮像し、フレーム画像データを連続的に出力する撮像装置から前記フレーム画像データが入力される入力部と、
前記フレーム画像データを連続的に表示処理して画像を表示する表示装置で表示される前記画像の画質に係る要素である解像度、色表現、更新周期、及び階調のうち少なくとも２つの要素のフォーマットを規定するデータフォーマットとして、異なる画質に対応する複数のデータフォーマットを記憶すると共に、前記要素の重要度を示す重要度情報を記憶する記憶部と、
前記記憶部に記憶されている前記データフォーマットの中から選択されたデータフォーマットに従って、前記入力部に入力された前記フレーム画像データを画像処理する画像処理部と、
前記表示装置に対して、前記画像処理部によって画像処理された前記フレーム画像データを連続的に無線送信する無線通信部と、
前記無線通信部が前記フレーム画像データを前記無線送信する際の無線通信環境を検出する検出部と、
前記記憶部に記憶されている前記データフォーマットの中からいずれかを選択する選択部であって、前記検出部によって前記通信環境が劣化していると検出された場合、前記記憶部に記憶されている前記重要度情報に基づいて選択した前記要素について、現在選択されている前記データフォーマットで規定されるフォーマットよりも品質の低いフォーマットが規定された前記データフォーマットを選択する選択部と、
を有する画像処理装置。
【請求項２】
前記選択部は、前記検出部によって前記通信環境が劣化していると検出された場合、前記重要度情報によって重要度が他の前記要素よりも低いことが示されている前記要素について、現在選択されている前記データフォーマットで規定されるフォーマットよりも品質の低いフォーマットが規定された前記データフォーマットを選択する請求項１に記載の画像処理装置。
【請求項３】
前記記憶部は、ユーザー毎、撮像装置毎、又は前記ユーザーと前記撮像装置の組合せ毎に前記データフォーマットを記憶する請求項１に記載の画像処理装置。
【請求項４】
前記記憶部は、複数の第１のデータフォーマットと、前記撮像装置毎の最高品質の画質に対応する第２のデータフォーマットとを記憶し、
前記選択部は、前記検出部によって前記通信環境が劣化していると検出された場合、前記記憶部に記憶されている前記重要度情報に基づいて選択した前記要素について、前記入力部に入力される前記フレーム画像データを出力する前記撮像装置に対応する前記第２のデータフォーマットで規定されるフォーマットよりも品質の低い又は品質が同等のフォーマットを規定する前記第１のデータフォーマットであって、現在選択されている前記データフォーマットで規定されるフォーマットよりも品質の低いフォーマットが規定された前記第１のデータフォーマットを選択する請求項１に記載の画像処理装置。
【請求項５】
前記記憶部は、複数の第１のデータフォーマットと、前記少なくとも２つの要素のそれぞれの使用可能な最低品質の画質に対応するフォーマットを規定する第２のデータフォーマットとを記憶し、
前記選択部は、前記検出部によって前記通信環境が劣化していると検出された場合、前記記憶部に記憶されている前記重要度情報に基づいて選択した前記要素について、前記第２のデータフォーマットで規定されるフォーマットよりも品質の高い又は品質が同等のフォーマットを規定する前記第１のデータフォーマットであって、現在選択されている前記データフォーマットで規定されるフォーマットよりも品質の低いフォーマットが規定された前記第１のデータフォーマットを選択する請求項１に記載の画像処理装置。
【請求項６】
前記記憶部は、ユーザー毎、撮像装置毎、又は前記ユーザーと前記撮像装置の組合せ毎に前記第２のデータフォーマットを記憶する請求項５に記載の画像処理装置。
【請求項１】
被写体を撮像し、フレーム画像データを連続的に出力する撮像装置から前記フレーム画像データが入力される入力部と、
前記フレーム画像データを連続的に表示処理して画像を表示する表示装置で表示される前記画像の画質に係る要素である解像度、色表現、更新周期、及び階調のうち少なくとも２つの要素のフォーマットを規定するデータフォーマットとして、異なる画質に対応する複数のデータフォーマットを記憶すると共に、前記要素の重要度を示す重要度情報を記憶する記憶部と、
前記記憶部に記憶されている前記データフォーマットの中から選択されたデータフォーマットに従って、前記入力部に入力された前記フレーム画像データを画像処理する画像処理部と、
前記表示装置に対して、前記画像処理部によって画像処理された前記フレーム画像データを連続的に無線送信する無線通信部と、
前記無線通信部が前記フレーム画像データを前記無線送信する際の無線通信環境を検出する検出部と、
前記記憶部に記憶されている前記データフォーマットの中からいずれかを選択する選択部であって、前記検出部によって前記通信環境が劣化していると検出された場合、前記記憶部に記憶されている前記重要度情報に基づいて選択した前記要素について、現在選択されている前記データフォーマットで規定されるフォーマットよりも品質の低いフォーマットが規定された前記データフォーマットを選択する選択部と、
を有する画像処理装置。
【請求項２】
前記選択部は、前記検出部によって前記通信環境が劣化していると検出された場合、前記重要度情報によって重要度が他の前記要素よりも低いことが示されている前記要素について、現在選択されている前記データフォーマットで規定されるフォーマットよりも品質の低いフォーマットが規定された前記データフォーマットを選択する請求項１に記載の画像処理装置。
【請求項３】
前記記憶部は、ユーザー毎、撮像装置毎、又は前記ユーザーと前記撮像装置の組合せ毎に前記データフォーマットを記憶する請求項１に記載の画像処理装置。
【請求項４】
前記記憶部は、複数の第１のデータフォーマットと、前記撮像装置毎の最高品質の画質に対応する第２のデータフォーマットとを記憶し、
前記選択部は、前記検出部によって前記通信環境が劣化していると検出された場合、前記記憶部に記憶されている前記重要度情報に基づいて選択した前記要素について、前記入力部に入力される前記フレーム画像データを出力する前記撮像装置に対応する前記第２のデータフォーマットで規定されるフォーマットよりも品質の低い又は品質が同等のフォーマットを規定する前記第１のデータフォーマットであって、現在選択されている前記データフォーマットで規定されるフォーマットよりも品質の低いフォーマットが規定された前記第１のデータフォーマットを選択する請求項１に記載の画像処理装置。
【請求項５】
前記記憶部は、複数の第１のデータフォーマットと、前記少なくとも２つの要素のそれぞれの使用可能な最低品質の画質に対応するフォーマットを規定する第２のデータフォーマットとを記憶し、
前記選択部は、前記検出部によって前記通信環境が劣化していると検出された場合、前記記憶部に記憶されている前記重要度情報に基づいて選択した前記要素について、前記第２のデータフォーマットで規定されるフォーマットよりも品質の高い又は品質が同等のフォーマットを規定する前記第１のデータフォーマットであって、現在選択されている前記データフォーマットで規定されるフォーマットよりも品質の低いフォーマットが規定された前記第１のデータフォーマットを選択する請求項１に記載の画像処理装置。
【請求項６】
前記記憶部は、ユーザー毎、撮像装置毎、又は前記ユーザーと前記撮像装置の組合せ毎に前記第２のデータフォーマットを記憶する請求項５に記載の画像処理装置。
【図１】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【図２】
【図３】
【図４】
【図５】
【図６】
【図７】
【公開番号】特開２０１２−２０５０７１（Ｐ２０１２−２０５０７１Ａ）
【公開日】平成２４年１０月２２日（２０１２．１０．２２）
【国際特許分類】
【出願番号】特願２０１１−６７７６０（Ｐ２０１１−６７７６０）
【出願日】平成２３年３月２５日（２０１１．３．２５）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
【公開日】平成２４年１０月２２日（２０１２．１０．２２）
【国際特許分類】
【出願日】平成２３年３月２５日（２０１１．３．２５）
【出願人】（００００００３７６）オリンパス株式会社 (11,466)
【Ｆターム（参考）】
[ Back to top ]