合肥金星智控科技股份有限公司
宣传

位置:中冶有色 >

有色技术频道 >

> 无损检测技术

> 电子内窥镜用处理器以及电子内窥镜系统

电子内窥镜用处理器以及电子内窥镜系统

224   编辑:管理员   来源:HOYA株式会社  
2024-03-12 17:01:06
权利要求书: 1.一种电子内窥镜用处理器,其特征在于,具备:转换单元,将n设为3以上的自然数、将m设为2以上的自然数,将由n种颜色成分组成的构成体腔内的生物体组织的彩色图像的各像素数据转换为由比n种少的、所述n种颜色成分中的m种颜色成分组成的像素数据;

评价值算出单元,根据由m种颜色成分组成的转换后的所述像素数据而以所述彩色图像的像素单位算出关于对象疾病的评价值;以及病变指数计算单元,根据计算出的所述彩色图像的像素的评价值来计算表示关于所述对象疾病的多种病变各自的症状等级的病变指数。

2.一种电子内窥镜用处理器,其特征在于,具备:转换单元,将n设为3以上的自然数、将m设为2以上的自然数,将由n种颜色成分组成的构成体腔内的生物体组织的彩色图像的各像素数据转换为由比n种少的m种颜色成分组成的像素数据;

评价值算出单元,根据由m种颜色成分组成的转换后的所述像素数据而以所述彩色图像的像素单位算出关于对象疾病的评价值;以及病变指数计算单元,根据计算出的所述彩色图像的像素的评价值来计算关于所述对象疾病的多种病变各自的病变指数,在由所述m种颜色成分定义的颜色空间内设定有从规定的基准点观察的关于所述对象疾病的基准方向,所述评价值算出单元对所述彩色图像的各像素根据所述颜色空间中的与转换后的所述像素数据对应的像素对应点从所述基准点观察的方向与所述基准方向偏离的程度而算出关于所述对象疾病的评价值。

3.一种电子内窥镜用处理器,其特征在于,具备:转换单元,将n设为3以上的自然数、将m设为2以上的自然数,将由n种颜色成分组成的构成体腔内的生物体组织的彩色图像的各像素数据转换为由比n种少的m种颜色成分组成的像素数据;

评价值算出单元,根据由m种颜色成分组成的转换后的所述像素数据而以所述彩色图像的像素单位算出关于对象疾病的评价值;以及病变指数计算单元,根据计算出的所述彩色图像的像素的评价值来计算关于所述对象疾病的多种病变各自的病变指数,在由所述m种颜色成分定义的颜色平面内设定有通过规定的基准点的关于所述对象疾病的基准轴,所述评价值算出单元对所述彩色图像的各像素,根据将所述基准点和与转换后的所述像素数据对应的像素对应点连结的线段与所述基准轴所成的角度θ来算出关于所述对象疾病的评价值。

4.根据权利要求1至3中任一项所述的电子内窥镜用处理器,其特征在于,所述病变指数计算单元将多种所述病变指数的合计作为总病变指数来计算。

5.根据权利要求1至3中任一项所述的电子内窥镜用处理器,其特征在于,所述病变指数计算单元基于所述评价值为落入第一范围内的值的像素的数量来计算第一病变指数,

所述病变指数计算单元基于所述评价值为落入第二范围内的值的像素的数量来计算第二病变指数。

6.根据权利要求1至3中任一项所述的电子内窥镜用处理器,其特征在于,所述电子内窥镜用处理器还具备有效像素判定单元,所述有效像素判定单元对所述彩色图像的各像素根据像素值是否为满足规定条件的值来判定该各像素是否为有效像素,所述评价值算出单元只将所述有效像素作为算出所述评价值的对象来算出所述评价值。

7.根据权利要求6所述的电子内窥镜用处理器,其特征在于,所述电子内窥镜用处理器还具备有效像素计数单元,所述有效像素计数单元计算作为被判定为是所述有效像素的像素的数量的有效像素数,所述病变指数计算单元根据所述有效像素中的所述评价值来计算作为与所述多种病变的每一个对应的像素的数量的各病变像素数,针对所述多种病变的每一个,将该病变像素数相对于所述有效像素数的比率作为所述病变指数来计算。

8.根据权利要求3所述的电子内窥镜用处理器,其特征在于,在将所述基准轴称为第一基准轴时,所述评价值算出单元在所述颜色平面内设定有通过所述基准点的关于没有所述对象疾病的正常部位的第二基准轴,

将所述第一基准轴与所述第二基准轴的交叉角度设为最大角度而将所述角度θ进行标准化来算出所述评价值。

9.根据权利要求1至3中任一项所述的电子内窥镜用处理器,其特征在于,转换后的所述像素数据的m种颜色成分都是被设定为波段相互不同的颜色成分。

10.根据权利要求1或2所述的电子内窥镜用处理器,其特征在于,转换后的所述像素数据的m种颜色成分优选包含红色成分、绿色成分和蓝色成分中的至少两种。

11.根据权利要求10所述的电子内窥镜用处理器,其特征在于,转换后的所述像素数据的m种颜色成分包含所述绿色成分及所述蓝色成分中的任一种颜色成分和所述红色成分。

12.根据权利要求1至3中任一项所述的电子内窥镜用处理器,其特征在于,所述评价值是表示体腔内的生物体组织的粘膜的炎症强度的程度的值。

13.一种电子内窥镜系统,其特征在于,具备:权利要求1至3中任一项所述的电子内窥镜用处理器;

电子镜,被构成为生成所述彩色图像的数据并输出给所述电子内窥镜用处理器;以及显示装置,被构成为显示由所述电子内窥镜用处理器求出的病变指数。

14.根据权利要求13所述的电子内窥镜系统,其特征在于,所述显示装置被构成为将多种所述病变各自的所述病变指数与所述彩色图像一起显示。

说明书: 电子内窥镜用处理器以及电子内窥镜系统技术领域[0001] 本发明涉及电子内窥镜用处理器以及电子内窥镜系统。背景技术[0002] 病变部通常呈现与正常的粘膜组织不同的颜色。通过提高彩色内窥镜装置的性能,也能够识别颜色与正常组织稍微不同的病变部。但是,为了手术者能够根据内窥镜图像

上的微小的颜色不同而从正常组织准确地识别病变部,需要在熟练者的指导下接受长时间

的训练。另外,即使是熟练的手术者,从微小的颜色差异识别病变部也并不容易,要求慎重

的作业。因此,为了使血管、病变部的识别变容易,提出了具备对使用白色光拍摄而得的内

窥镜图像数据进行增强颜色差异的颜色转换处理的功能的电子内窥镜系统(专利文献1)。

[0003] 现有技术文献[0004] 专利文献[0005] 专利文献1:日本特开2009-106424号公报发明内容[0006] 发明要解决的技术问题[0007] 专利文献1的电子内窥镜系统生成的图像尽管与通常的内窥镜图像相比容易识别病变部等,但是,由于正常的粘膜组织与病变部等的边界处的颜色的变化是连续的,另外根

据疾病的种类而与正常的粘膜组织的颜色差异微小,因此也仍然存在经验浅的手术者难以

识别病变部等的情况。另外,即使在使用了专利文献1的电子内窥镜系统的情况下,是否为

病变部的判断最终全凭依赖于手术者的经验、知识的读取图像技能,不能得到客观且具有

再现性(不依赖于手术者的技术)的检查结果。

[0008] 用于解决技术问题的方案[0009] 本发明的一实施方式涉及的电子内窥镜用处理器具备:转换单元,将由n(n≥3)种颜色成分组成的构成体腔内的生物体组织的彩色图像的各像素数据转换为由比n种少的m

(m≥2)种颜色成分组成的像素数据;评价值算出单元,根据转换后的由m种颜色成分组成的

像素数据而以像素单位算出关于对象疾病的评价值;以及病变指数计算单元,根据计算出

的各像素的评价值来计算关于对象疾病的多种病变各自的病变指数。

[0010] 根据本发明的一实施方式,病变指数计算单元优选构成为将多种病变指数的合计作为总病变指数来计算。

[0011] 另外,根据本发明的一实施方式,病变指数计算单元优选采用如下结构:基于由评价值算出单元计算出的评价值为落入第一范围内的值的像素的数量来计算第一病变指数,

并基于该评价值为落入第二范围内的值的像素的数量来计算第二病变指数。

[0012] 另外,根据本发明的一实施方式,所述电子内窥镜用处理器优选采用如下结构:还具备有效像素判定单元,该有效像素判定单元对所述彩色图像的各像素根据像素值是否为

满足规定条件的值来判定是否为有效像素。在这种情况下,所述评价值算出单元优选只将

所述有效像素作为算出所述评价值的对象来算出所述评价值。

[0013] 另外,根据本发明的一实施方式,所述电子内窥镜用处理器优选采用如下结构:还具备有效像素计数单元,其计算已被判定为是有效像素的像素的数量即有效像素数。在该

情况下,病变指数计算单元优选根据所述有效像素中的所述评价值来计算与多种病变的每

一个对应的像素的数量即各病变像素数,针对多种病变的每一个,将该病变像素数相对于

有效像素数的比率作为病变指数来计算。

[0014] 另外,根据本发明的一实施方式,所述电子内窥镜用处理器优选采用如下结构:还具备颜色成分校正单元,其使用规定的颜色成分校正系数来校正通过转换单元转换后的由

m种颜色成分构成的像素数据。在该情况下,评价值算出单元优选采用如下结构:基于由颜

色成分校正系数校正后的由m种颜色成分构成的像素数据来以像素单位算出关于对象疾病

的评价值。

[0015] 另外,根据本发明的一实施方式,颜色成分校正系数优选为例如对由m种颜色成分构成的像素数据进行校正的规定的校正矩阵系数。

[0016] 另外,根据本发明的一实施方式,优选的是,所述评价值算出单元在由所述m种颜色成分定义的颜色空间内设定有从规定的基准点观察的关于所述对象疾病的基准方向,对

所述彩色图像的各像素根据所述颜色空间中的与所述转换后的像素数据对应的像素对应

点从所述基准点观察的方向与所述基准方向偏离的程度而算出关于所述对象疾病的评价

值。

[0017] 另外,根据本发明的一实施方式,评价值算出单元优选采用如下结构:在由m种颜色成分定义的颜色平面内设定有通过规定的基准点的、关于所述对象疾病的基准轴,对所

述彩色图像的各像素,根据将所述基准点和与所述转换后的像素数据对应的像素对应点连

结的线段与该基准轴所成的角度来算出关于对象疾病的评价值。

[0018] 另外,根据本发明的一实施方式,优选的是,在将所述基准轴称为第一基准轴时,[0019] 所述评价值算出单元在所述颜色平面内设定有通过所述基准点的、关于没有所述对象疾病的正常部位的第二基准轴,

[0020] 将所述第一基准轴与所述第二基准轴的交叉角度设为最大角度而将所述角度θ进行标准化来算出所述评价值。

[0021] 另外,根据本发明的一实施方式,转换单元优选采用将由n种颜色成分定义的颜色空间中的各像素的像素数据正投影到颜色平面的结构。

[0022] 另外,根据本发明的一实施方式,基准轴优选是例如表示针对对象疾病的症状等级最高的炎症部位的轴。

[0023] 另外,根据本发明的一实施方式,所述评价值优选是表示体腔内的生物体组织的粘膜的炎症强度的程度的值。在该情况下,在所述评价值中,将不存在粘膜、下部组织露出、

开孔的溃疡除外。因此,所述评价值是表示存在粘膜、该粘膜粗糙的状态的强度的程度的

值。

[0024] 另外,根据本发明的一实施方式,优选所述转换后的像素数据的m种颜色成分都是被设定为波段相互不同的颜色成分。

[0025] 所述转换后的像素数据的m种颜色成分优选包含红色成分(波长620~750nm)、绿色成分(波长495~570nm)和蓝色成分(波长450~495nm)中的至少两种。在这种情况下,优

选所述转换后的像素数据的m种颜色成分包含所述红色成分、所述绿色成分以及所述蓝色

成分中的任一种颜色成分。

[0026] 另外,根据本发明的一实施方式,颜色平面优选为包含例如红色(R)成分的轴和绿色(G)成分的轴的平面。

[0027] 另外,根据本发明的一实施方式,所述电子内窥镜用处理器优选采用如下结构:还具备生成基于各像素的评价值而变更了该各像素的颜色的叠加图像的叠加图像生成单元。

[0028] 另外,根据本发明的一实施方式,所述电子内窥镜用处理器优选采用如下结构:还具备使病变指数显示于显示装置的显示画面的显示单元。该显示单元优选采用使彩色图像

和叠加图像并排显示于显示装置的一个画面内的结构。

[0029] 另外,根据本发明的一实施方式,所述电子内窥镜用处理器优选采用如下结构:还具备摄像位置获取单元和报告输出单元,该摄像位置获取单元获取对彩色图像进行了摄像

的位置的信息,该报告输出单元将使用表、曲线图和示意图中的至少一种来表示对彩色图

像进行了摄像的多个位置与在该位置拍摄到的彩色图像的病变指数的关系的报告输出给

输出装置。

[0030] 另外,本发明的一实施方式所涉及的电子内窥镜系统具备:上述的电子内窥镜用处理器;被构成为生成彩色图像的数据并输出给电子内窥镜用处理器的电子镜;以及被构

成为显示由电子内窥镜用处理器求出的病变指数的显示装置。

[0031] 另外,根据本发明的一实施方式,所述显示装置优选构成为将多种所述病变各自的所述病变指数与所述彩色图像一起显示。

[0032] 另外,根据本发明的一实施方式,优选从颜色成分中除去色相和彩度。[0033] 发明效果[0034] 根据上述的电子内窥镜用处理器以及电子内窥镜系统,能够容易地进行病变部与正常部的正确辨别。

附图说明[0035] 图1是示出本发明的一实施方式所涉及的电子内窥镜系统的概略结构的框图。[0036] 图2是示出本发明的一实施方式所涉及的图像处理单元的概略结构的框图。[0037] 图3是示出图像存储器224的存储区域的概略结构的图。[0038] 图4是示出存储器226的存储区域的概略结构的图。[0039] 图5是示出图像处理单元进行的处理的步骤的流程图。[0040] 图6是在TE处理中使用的增益曲线的一例。[0041] 图7是示出有效像素判定处理的步骤的流程图。[0042] 图8是示出炎症强度算出处理的步骤的流程图。[0043] 图9是示出描绘像素对应点的RG平面的图。[0044] 图10是对在RG平面内设定的基准轴进行说明的图。[0045] 图11是示出病变指数计算处理的步骤的流程图。[0046] 图12是通过画面显示处理而生成的显示画面的一例。[0047] 图13是在报告输出处理中印刷的报告画面。具体实施方式[0048] 下面,参照附图来对本发明的实施方式进行说明。在以下,作为本发明的一实施方式,以电子内窥镜系统为例进行说明。

[0049] 图1是示出本发明的一实施方式所涉及的电子内窥镜系统1的概略结构的框图。如图1所示,本实施方式的电子内窥镜系统1具备:电子镜100、电子内窥镜用处理器200、监视

器300以及打印机400。

[0050] 电子内窥镜用处理器200具备系统控制器202和定时控制器206。系统控制器202执行存储在存储器204中的各种程序,综合控制电子内窥镜系统1的整体。另外,系统控制器

202根据输入到操作面板208的来自用户(手术者或辅助者)的指示来变更电子内窥镜系统1

的各种设定。定时控制器206将调整各部的动作定时的时钟脉冲输出给电子内窥镜系统1内

的各种电路。

[0051] 另外,电子内窥镜用处理器200具备向电子镜100的LCB(光导束)102供给作为白色光束的照明光的光源装置230。光源装置230具备灯232、灯电源234、聚光透镜236以及调光

装置240。灯232是从灯电源234接受驱动电力的供给而放射照明光的高亮度灯,例如使用氙

灯、金属卤化物灯、汞灯或卤素灯。灯232放射的照明光被聚光透镜236聚光后,经由调光装

置240而被导入LCB102。

[0052] 需要说明的是,灯232也可以替换为LD(LaserDiode:激光二极管)或LED(LightEmittingDiode:发光二极管)等半导体发光元件。关于半导体发光元件,与其它光源相比,

具有低功耗、发热量小等特征,因此具有能够在抑制功耗和发热量的同时获取明亮的图像

的优点。能够获取明亮的图像与使后述的关于炎症的评价值的精度提高相关联。半导体发

光元件不局限于处理器200,也可以内置于电子镜100。作为一例,半导体发光元件也可以设

置在电子镜100的前端部内。

[0053] 调光装置240是基于系统控制器202的控制来调整导入LCB102的照明光的光量的装置,具备光圈242、马达243以及驱动器244。驱动器244生成用于驱动马达243的驱动电流,

并供给至马达243。光圈242由马达243驱动,使照明光通过的开口变化来调整通过开口的照

明光的光量。

[0054] 从入射端导入LCB102的照明光在LCB102内传播,从配置于电子镜100的前端的LCB102的射出端射出后,经由配光透镜104而照射到被摄体。来自被摄体的反射光经由物镜

106而在固体摄像元件108的受光面上连结光学像。

[0055] 固体摄像元件108是在受光面配置有IR(InfraRed:红外)截止滤光片108a、拜耳阵列滤色片108b等各种滤光片的单板式彩色CCD(Charge?CoupledDevice:电荷耦合器件)

图像传感器,生成与在受光面上成像的光学像相应的三原色R、G、B各色的摄像信号。所生成

的摄像信号在设置于电子镜100的连接部内的驱动器信号处理电路112中被放大后转换为

由亮度信号Y以及色差信号Cb、Cr构成的图像信号,进一步被转换为数字信号之后被发送至

电子内窥镜用处理器200的图像处理单元220。另外,驱动器信号处理电路112访问存储器

114而读出电子镜100的固有信息。记录在存储器114中的电子镜100的固有信息例如包括固

体摄像元件108的像素数、灵敏度、可动作的帧率等。驱动器信号处理电路112将从存储器

114中读出的固有信息输出给系统控制器202。

[0056] 原色系(RGB)滤光片与补色系滤光片相比显色性良好。因此,若将由搭载有原色系滤光片的摄像元件产生的RGB形式的图像信号用于后述的关于炎症的评价值的计算,则能

够使其评价精度提高。另外,通过使用原色系滤光片,在关于炎症的评价值的计算处理中不

需要进行信号的转换。因此,能够抑制评价计算的处理负荷。

[0057] 系统控制器202基于电子镜100的固有信息而进行各种运算,生成控制信号。系统控制器202使用所生成的控制信号来控制电子内窥镜用处理器200内的各种电路的动作和

定时,以进行适合于与电子内窥镜用处理器200连接的电子镜100的处理。

[0058] 定时控制器206根据系统控制器202的定时控制而向驱动器信号处理电路112和图像处理单元220供给时钟脉冲。驱动器信号处理电路112根据从定时控制器206供给的时钟

脉冲,以与在电子内窥镜用处理器200侧处理的影像的帧率同步的定时对固体摄像元件108

进行驱动控制。

[0059] 电子内窥镜用处理器200的图像处理单元220在系统控制器202的控制之下,基于从电子镜100的驱动器信号处理电路112发送来的图像信号而生成用于监视显示内窥镜图

像等的视频信号,并输出给作为显示装置的监视器300。手术者一边确认监视器300上所显

示的内窥镜图像,一边进行例如消化管内的观察、治疗。另外,图像处理单元220基于图像信

号而生成用于打印输出后述的报告画面的报告输出信号(打印信号),并输出给打印机400。

[0060] 电子内窥镜用处理器200经由网络接口210以及网络500而与服务器600连接。电子内窥镜用处理器200从服务器600获取关于内窥镜检查的信息(例如,患者的电子病历信息

或手术者的信息)并显示于监视器300、操作面板208,将内窥镜检查结果(内窥镜图像数据、

检查条件、后述的图像分析结果、手术者所见等)发送到服务器600并进行蓄积。

[0061] 另外,电子内窥镜系统1具备将多个内窥镜图像的静态图像与摄像部位(即,摄像时的电子镜100的前端部的位置(插入长度))的信息相关联地进行记录的功能。在电子镜

100的插入部130的外周,在长度方向上以等间隔(例如5cm间隔)设置有多个光传感器132。

光传感器132是光电二极管等受光元件,检测外部光(进行内窥镜检查的房间的室内照明)。

设置于插入部130的插入消化管内的部分的光传感器132不检测外部光,设置于未插入消化

管内的部分的光传感器132检测外部光。因此,通过将未检出光的光传感器的分布长度判定

为已插入到消化管内的插入部130的长度,能够获取电子镜100前端部的位置(插入长度)的

信息。光传感器132与驱动器信号处理电路112连接,将表示检测出的光量的传感器信号发

送到驱动器信号处理电路112。驱动器信号处理电路112根据来自光传感器132的传感器信

号来计算电子镜100的前端部的位置(插入长度)Pos。

[0062] 另外,当对电子镜100的操作部120进行指示获取静态图像的用户操作时,从操作部120向驱动器信号处理电路112发送操作信号。当从操作部120中获取静态图像获取的操

作信号时,系统控制器202将获取静态图像的指令与当前的电子镜100前端部的位置信息

(插入长度)Pos一起发送到图像处理单元220。由此,在图像处理单元220中,与摄像时的电

子镜100的位置信息Pos相关联地记录内窥镜观察图像的静态图像。稍后说明图像处理单元

220记录静态图像的处理的详情。

[0063] 图2是示出图像处理单元220的概略结构的框图。图像处理单元220包括:第一图像处理电路222、图像存储器224、存储器226以及第二图像处理电路228。第一图像处理电路

222对来自驱动器信号处理电路112的图像信号实施各种图像处理,并输出给图像存储器

224。

[0064] 如图2所示,第一图像处理电路222具备:RGB转换部222a、TE处理部222b、有效像素判定部222c、颜色空间转换部222d、炎症强度算出部222e以及叠加处理部222f。另外,第二

图像处理电路228具备:病变指数计算部228a、显示画面生成部228b以及报告生成部228c。

关于第一图像处理电路222及第二图像处理电路228的各部进行的具体处理将在后面叙述。

[0065] 图3是示出图像存储器224所具备的存储区域的概略结构的图。在本实施方式的图像存储器224中设置有七个存储区域组Pk(k=0~6)。各存储区域组Pk具备:分别存储通常

观察图像数据N的三原色信号R、G、B的通常图像存储器区域knR、knG、knB(k=0~6)、分别存

储由后述的TE处理S3生成的色调增强图像数据E的原色信号R’、G’、B’的色调增强图像存储

器区域keR、keG、keB(k=0~6)、分别存储由后述的叠加处理S7生成的叠加图像数据S的三

原色信号R”、G”、B”的叠加图像存储器区域ksR、ksG、ksB(k=0~6)。即,图像存储器224能够

将通常观察图像数据N、色调增强图像数据E和叠加图像数据S的数据组存储为最大七组。图

像存储器224被构成为按照系统控制器202的控制而使从第一图像处理电路222输出的图像

数据(通常观察图像数据N、色调增强图像数据E或叠加图像数据S)存储在存储区域组P0~

P6的任一个中。另外,在存储区域P0上覆盖从第一图像处理电路222中依次输出的图像数

据,始终保持构成实时动画的图像数据。另一方面,只在从系统控制器202中发出了指令时,

从第一图像处理电路222中输出的图像数据被写入存储区域组P1~P6中。即,在图像存储器

224中能够记录最多6张静态图像。

[0066] 图4是示出存储器226所具备的存储区域的概略结构的图。存储器226具备:RGB矩阵存储区域226a、标志存储区域226b、设定信息存储区域226c、病变指数存储区域组226d、

校正矩阵存储区域226e以及颜色信息存储区域226f。在RGB矩阵存储区域226a中存储在后

述的RGB转换处理S1中使用的RGB转换矩阵系数M1,在标志存储区域226b中存储在第一图像

处理电路222的处理中使用的标志表T1。另外,标志表T1是由表示关于构成图像数据的各像

素(x,y)的分析结果的标志f(x,y)构成的数值表。在设定信息存储区域226c中记录有图像

处理单元220中的处理所使用的各种设定值。另外,在病变指数存储区域组226d中设置有与

图像存储器224的存储区域组Pk(k=0~6)对应的七个存储区域组Qk(k=0~6)。在各存储

区域组Qk中记录有作为存储在对应的存储区域组Pk中的图像的分析结果的病变指数IdxR、

IdxW、IdxT。

[0067] 白平衡校正只利用无彩色轴上的一点(例如白色)进行颜色校正。因此,在进行以炎症等具有有彩色的部位为对象的评价的情况下,仅通过白平衡校正,难以抑制由电子内

窥镜系统1(主要是电子镜100的光学部件)的个体差异引起的评价值偏差。因此,在校正矩

阵存储区域226e中存储有用于抑制这种偏差的校正矩阵系数M2。

[0068] 另外,在颜色信息存储区域226f中存储有在后述的叠加处理S7中生成叠加图像所需的数据。

[0069] 需要说明的是,存储区域组Pk和Qk(k=1~6)分别与电子镜100的前端部的位置信息(插入长度)Pos的值相关联。具体而言,存储区域组P1及Q1与相当于检查范围的最深部

(例如横行结肠的右结肠曲附近)的插入长度Pos的范围相对应,k值越大,则对应的插入长

度Pos越短,存储区域组P6及Q6与相当于直肠附近的插入长度Pos的范围相对应。即,当从检

查范围的最深部拔出电子镜100的插入部130的同时获取静态图像时,按照获取的顺序在k

=1~6的存储区域记录静态图像。规定位置信息Pos与存储区域组Pk、Qk(k=1~6)的对应

关系的设定信息记录在设定信息存储区域226c中。根据图像数据的位置信息Pos(摄像时的

电子镜100前端部的位置)来决定记录图像数据的存储区域组Pk、Qk。

[0070] 第二图像处理电路228使用存储在图像存储器224中的图像信号来生成监视器显示用的视频信号,并输出给监视器300。另外,第二图像处理电路228使用存储在图像存储器

224中的图像信号、存储在存储器226中的病变指数(后述)来生成后述的报告输出信号(打

印信号)并输出给打印机400。

[0071] 接着,说明图像处理单元220进行的处理的详情。图5是示出图像处理单元220进行的处理的步骤的流程图。当图像处理单元220的处理开始时,首先,由第一图像处理电路222

的RGB转换部222a进行RGB转换处理S1。在RGB转换处理S1中,RGB转换部222a对从驱动器信

号处理电路112中发送来的亮度信号Y以及色差信号Cb、Cr分别进行了放大之后,转换为三

原色信号R、G、B。使用存储在存储器226的RGB矩阵存储区域226a中的RGB转换矩阵系数M1来

执行RGB转换处理S1。RGB转换矩阵系数M1根据摄像所使用的照明光的光谱特性而预先设

定,在从Y、Cb、Cr信号向R、G、B信号的信号形式的转换的同时,进行照明光的光谱特性的修

正。另外,当RGB转换处理S1完成时,已生成的通常观察图像数据N的三原色信号R、G、B被输

出给图像存储器224,分别存储在通常图像存储器区域0nR、0nG、0nB中。

[0072] 接着,判断是否设定为图像分析模式(S2)。图像分析模式是一种动作模式,该动作模式对图像数据的各像素分析颜色成分(特别是R、G成分),根据颜色成分的分析结果而获

取关于对象疾病(病变)的评价结果(例如关于炎症的评价值、颜色映射图像),并显示所获

取的评价结果。对象疾病的种类可以根据检查内容进行选择。通过执行图像分析模式,能够

例示性地提取处于作为炎症性肠病(IBD)的病变的溃疡(含有白苔或脓状粘液的白色病

变)、炎症(包含水肿或易出血性的红变病变)的观察像所特有的色域的像素并进行识别显

示。

[0073] 另外,本实施方式的电子内窥镜系统1被构成为以图像分析模式和通常观察模式这两个动作模式进行动作。通过对电子镜100的操作部120、电子内窥镜用处理器200的操作

面板208的用户操作来切换动作模式。在设定为通常观察模式的情况下(S2:否),处理进入

S9。

[0074] 在选择了图像分析模式的情况下(S2:是),接着进行基于色调增强(TE)处理部222b的TE处理S3。TE处理S3是一种如下的处理:为了提高病变的判定精度,对各原色信号R、

G、B进行给予非线性增益(gain)的增益调整,实质上扩大判定的病变特有的色域(特别是边

界部)附近的动态范围,从而提高颜色表现的有效分辨率。具体而言,在TE处理S3中,对各原

色信号R、G、B进行给予图6所示那样的单调增加的非线性增益而获取原色信号R’、G’、B’(色

调增强图像数据E)的处理。例如,当将溃疡所特有的色域的边界向R空间的映射设为边界区

域RA、将炎症所特有的色域的边界向R空间的映射设为边界区域RB时,在边界区域RA以及RB

的附近增益曲线的斜率变得最陡。通过根据这样的增益曲线来给予增益,能够扩大边界区

域RA以及RB附近的原色信号R’(对原色信号R实施了TE处理S3而得的信号)的实质性的动态

范围,能够进行更精密的阈值判定。

[0075] 这里,也可以对各原色信号R、G、B进行各不相同的增益调整。此外,也可以是对各原色信号G、B给予相同的非线性增益、对原色信号R给予与它们不同的非线性增益的处理。

另外,由TE处理S3生成的三原色信号R’、G’、B’(色调增强图像数据E)被输出给图像存储器

224,分别存储于色调增强图像存储器区域0eR、0eG、0eB中。

[0076] 另外,通过TE处理S3,在色调上炎症部变化为红色、溃疡部变化为白色、正常部变化为绿色。因此,在将由TE处理S3生成的色调增强图像数据E显示于监视器300的情况下,能

够比TE处理S3前的通常观察图像数据N容易地辨认病变部(炎症部或溃疡部)。

[0077] 当TE处理S3完成时,接着对色调增强图像数据E进行基于有效像素判定部222c的有效像素判定处理S4。图7是示出有效像素判定处理S4的步骤的流程图。图7所示的有效像

素判定处理S4对构成图像数据的所有像素(x,y)依次进行。在有效像素判定处理S4中,首

先,对于各像素(x,y),根据原色信号R’(x,y)、G’(x,y)、B’(x,y),通过下述数学式1描述的

式子来计算校正亮度int(x,y)(S41)。

[0078] [数学式1][0079] int(x,y)=0.3×R′(x,y)+0.59×G′(x,y)+0.11×B′(x,y)[0080] 需要说明的是,计算出的校正亮度int(x,y)的值用于后述的适当曝光判定S42。另外,根据算式1可知,校正亮度int(x,y)不是原色信号R’(x,y)、G’(x,y)、B’(x,y)的单纯平

均,而是作为基于人(手术者)的相对可见度特性的加权平均而求出的。

[0081] 接着,针对各像素,基于在处理S41中计算出的色调增强图像数据E的校正亮度int(x,y)和原色信号R’(x,y)、G’(x,y)、B’(x,y),判定曝光是否适当(是否为图像分析所需的

曝光等级)(S42)。在适当曝光判定S42中,在满足以下两个条件(数学式2、数学式3)的至少

一方(或者双方)的情况下,判定为适当曝光(S42:是)。需要注意的是,通过下述数学式2描

述的式子规定了校正亮度int(x,y)(整体的光量)的上限值,通过下述数学式3描述的式子

规定了各原色信号R’(x,y)、G’(x,y)、B’(x,y)的下限值。

[0082] 数学式2[0083] int(x,y)<235[0084] 数学式3[0085] Max{R′(x,y),G′(x,y),B′(x,y)}>20[0086] 对于像素(x,y),当满足数学式2或数学式3所描述的式子而判定为适当曝光(S42:是)时,有效像素判定部222c将与存储于存储器226的标志存储区域226b的标志表T1的像素

(x,y)对应的标志f(x,y)的值改写为“1”(S43)。需要说明的是,标志f(x,y)取0、1中的任意

一个的标志值。各标志值的定义如下:

[0087] 0:像素数据无效[0088] 1:无病变(正常)或未判定病变(像素数据有效)[0089] 另外,在适当曝光判定S42中,当不满足数学式2、数学式3所描述的式子的任意条件而判定为曝光不适当时(S42:否),有效像素判定部222c将标志表T1的标志f(x,y)的值改

写为“0”(S44)。

[0090] 接着,在处理S45中,判定是否对全部像素(x,y)完成了处理。重复上述的处理S41~S45,直到所有像素(x,y)的处理完成为止。

[0091] 另外,在有效像素判定处理S4中执行的、判定有效像素的动作由有效像素判定单元进行。根据一实施方式,优选图2所示的有效像素判定部222c承担上述有效像素判定单元

的功能。

[0092] 当有效像素判定处理S4完成时,接着通过颜色空间转换部222d进行颜色空间转换处理S5。颜色空间转换处理S5是将由RGB三原色定义的RGB颜色空间的被色调增强后的像素

数据转换为RG平面的像素数据的处理。需要说明的是,在颜色空间转换处理S5中,也可以将

未被色调增强的RGB颜色空间的像素数据转换为RG平面的像素数据。

[0093] 在图9中示出由相互正交的R轴和G轴定义的RG平面。需要说明的是,R轴是R成分(R的像素值)的轴,G轴是G成分(G的像素值)的轴。

[0094] 在颜色空间转换处理S5中,将由RGB三原色定义的RGB颜色空间的各像素的像素数据(由3种颜色成分构成的三维的像素数据)转换为RG的像素数据(由2种颜色成分构成的二

维的像素数据)。概念上,如图9所示,RGB颜色空间的各像素的像素数据根据R、G的像素值而

被描绘在RG平面内(更详细而言,取R=0~255、G=0~255的值的RG平面内的分区)。以下,

为了便于说明,将RGB颜色空间的各像素的像素数据的点以及在RG平面内描绘的像素数据

的点记作“像素对应点”。需要注意的是,在图9中,为便于使附图明了,并非示出全部像素的

像素对应点,而仅示出了一部分像素的像素对应点。

[0095] 需要说明的是,颜色成分构成颜色空间(也包括颜色平面)。根据一实施方式,优选颜色成分均是被设定为波段相互不同的颜色成分。因此,在这种情况下,从“颜色成分”中排

除色相和彩度。

[0096] 这样,在颜色空间转换处理S5中,RGB标绘颜色空间的各像素数据(三维数据)被正投影到RG平面,从对应于各像素数据的RGB颜色空间内的点落下到RG平面的垂足成为各像

素对应点(二维数据)。

[0097] 另外,在颜色空间转换处理S5中执行的、将RGB颜色空间的各像素的像素数据转换(正投影)为RG平面内的像素数据的动作由转换单元进行。根据一实施方式,优选图2所示的

颜色空间转换部222d承担上述转换单元的功能。

[0098] 另外,曝光不足或过量的像素数据的精度低,会降低分析结果的可靠度。因此,颜色空间转换处理S5只对标志f(x,y)的值被设定为“1”的像素(x,y)、即在上述的有效像素判

定处理S4中被判定为适当曝光的像素(x,y)进行。

[0099] 当颜色空间转换处理S5完成时,接着由炎症强度算出部222e进行炎症强度算出处理S6。炎症强度算出处理S6是针对内窥镜图像的各像素(x,y)算出表示与对象疾病有关的

症状等级的炎症强度的处理。

[0100] 图8是示出炎症强度算出处理S6的步骤的流程图。在处理S61中,参照标志表T1来判定各像素(x,y)的数据是否有效。具体而言,标志f(x,y)的值为“1”的像素被判定为像素

数据有效,标志f(x,y)的值为“0”的像素被判定为像素数据无效。

[0101] 在炎症强度算出处理S6中,将在处理S61中已判定为像素数据有效的有效像素作为处理对象来执行处理S62以后的处理。

[0102] 在处理S62中,设定为了计算关于对象疾病的评价值(例如表示炎症的强度的炎症强度等)所需的RG平面内的基准轴。在图10中示出辅助基准轴的说明的图。

[0103] 在成为摄影对象的患者的体腔内,由于血红蛋白色素等的影响,R成分相对于其它成分(G成分和B成分)是支配性的,典型地,炎症越强,红色调(R成分)相对于其它色调(G成

分和B成分)越强。但是,体腔内的摄影图像的色调根据影响明亮度的摄影条件(例如照明光

的照射情况)而变化。例示性地,照明光不能到达的阴影部分成为黑色(为无彩色,例如,R、

G、B为零或接近零的值),照明光强烈照射后进行镜面反射的部分成为白色(为无彩色,例

如,R、G、B为255或接近255的值)。即,即使在拍摄了发生炎症的相同的异常部位的情况下,

照明光越强烈照射,该异常部位图像的像素值越大。因此,根据照明光的照射状况,有时像

素值取与炎症强度无相关的值。

[0104] 通常,未发生炎症的体腔内的正常部位被足够的粘膜覆盖。与此相反,发生炎症的体腔内的异常部位未被足够的粘膜覆盖。具体而言,血管扩张的同时,血液、体液从血管中

漏出,因此,粘膜相对变薄,血液的颜色容易映入眼睛。粘膜基本上是白色基调,但作为色调

有些泛黄,根据其浓淡(粘膜的厚度)而显现在图像上的色调(黄色的色调)发生变化。因此,

认为粘膜的浓淡也是评价炎症强度的指标之一。

[0105] 因此,如图10所示,在RG平面内,通过(50,0)以及(255,76)的直线被设定为基准轴的一个,并且通过(0,0)以及(255,192)的直线被设定为基准轴的一个。为了便于说明,将前

者的基准轴记作“血红蛋白变化轴AX1”,将后者的基准轴记作“粘膜变化轴AX2”。

[0106] 图10所示的描绘点是本发明人对体腔内的多个样本图像进行了分析的结果而得到的图。在分析中使用的样本图像中包含症状等级最高的炎症图像例(最严重程度的炎症

图像例)、症状等级最低的炎症图像例(实质上被视为正常部位的图像例)等各等级的炎症

图像例。另外,在图10所示的例子中,为便于使附图明了,只示出了一部分作为分析结果而

得到的描绘点。分析的结果实际得到的描绘点远比图10所示的描绘点的数量多。

[0107] 如上所述,越是炎症强的异常部位,R成分相对于其他成分(G成分及B成分)越强。因此,描绘点分布的区域与不分布的区域的边界线且比G轴更靠近R轴一方的边界线上的轴

即在图10所示的例子中通过(50,0)以及(255,76)的边界线上的轴被设定为与症状等级最

高的病变部(症状等级最高的炎症(异常)部位)相关性高的轴。该轴是血红蛋白变化轴AX1。

在血红蛋白变化轴AX1上重叠有与以各种各样的摄影条件(例如照明光的照射状况)拍摄到

的症状等级最高的炎症部位对应的描绘点。

[0108] 另一方面,越接近正常部位,G成分(或B成分)相对于R成分越强。因此,描绘点分布的区域与不分布的区域的边界线且比R轴更靠近G轴一方的边界线上的轴即在图10所示的

例子中通过(0,0)以及(255,192)的边界线上的轴被设定为与症状等级最低的病变部(是症

状等级最低的炎症(异常)部位,实质上被视为是正常(健康)部位的部位)相关性高的轴。该

轴是粘膜变化轴AX2。在粘膜变化轴AX2上重叠有与以各种各样的摄影条件(例如照明光的

照射状况)拍摄到的症状等级最低的炎症部位(实质上被视为正常部位或健康部位的部位)

对应的描绘点。

[0109] 若补充,则关于对象疾病而症状等级最高的炎症部位伴有出血。另一方面,症状等级最低的炎症部位实质上是正常部位,因此被足够的粘膜覆盖。因此,可以认为图10所示的

RG平面内的描绘点分布在与血液(血红蛋白色素)相关性最高的轴和与粘膜的色调相关性

最高的轴所夹持的区域内。因此,描绘点分布的区域与不分布的区域的边界线中的、接近于

R轴(R成分强)一方的边界线相当于表示症状等级最高的炎症部位的轴(血红蛋白变化轴

AX1),接近G轴(G成分强)一方的边界线相当于表示症状等级最低的炎症部位的轴(粘膜变

化轴AX2)。

[0110] 返回至图8,在处理S63中,使用校正矩阵系数来校正像素数据(R,G)。在存储器226的校正矩阵存储区域226e中保存有校正矩阵系数M2。在处理S63中,为了抑制在不同的电子

内窥镜系统中拍摄同一病变部时的得分值的差异(换言之,电子镜的个体差异),使用校正

矩阵系数M2来校正作为各有效像素的像素对应点的像素数据(R,G)。

[0111] ·校正矩阵系数示例[0112] 使用校正矩阵系数M00~M11将像素数据R、G校正为像素数据Rnew、Gnew。[0113] Rnew:校正后的像素数据(R成分)[0114] Gnew:校正后的像素数据(G成分)[0115] M00~M11:校正矩阵系数[0116] R:校正前的像素数据(R成分)[0117] G:校正前的像素数据(G成分)[0118] 另外,使用校正矩阵系数M2来校正在本处理S63中执行的各有效像素的像素对应点的动作由颜色成分校正单元进行。根据一实施方式,优选图2所示的图像处理单元220内

的颜色校正电路承担功能。

[0119] 在处理S64中,针对使用校正矩阵系数M2校正后的各有效像素的像素数据(Rnew,Gnew),算出用于计算炎症强度的角度。具体而言,在处理S64中,针对各有效像素,算出连接

血红蛋白变化轴AX1与粘膜变化轴AX2的交点(基准点)O’和像素对应点(Rnew,Gnew)的线段L

与血红蛋白变化轴AX1所成的角度θ(参照图9)。另外,基准点O’位于坐标(?150,?75)。

[0120] 当体腔内的摄影图像的明亮度根据照明光的照射状况而变化时,摄影图像的色调虽然有个人差异、拍摄部位、炎症的状态等的影响,但在RG平面内,大体上若是症状等级最

高的炎症部位则沿着血红蛋白变化轴AX1上变化、若是症状等级最低的炎症部位即实质上

无疾病的正常部位则沿着粘膜变化轴AX2上变化。另外,推定中间症状等级的炎症部位的摄

影图像的色调也以相同的倾向变化。即,与炎症部位对应的像素对应点当根据照明光的照

射状况而变化时,向以基准点O’为起点的方位角方向偏移。换言之,与炎症部位对应的像素

对应点当根据照明光的照射状况而变化时,角度θ保持一定的状态而移动,与基准点O’的距

离发生变化。这意味着角度θ是实质上不受摄影图像的明亮度变化的影响的参数。

[0121] 角度θ越小,R成分相对于G成分越强,表示炎症部位的症状等级越高。另外,角度θ越大,G成分相对于R成分越强,表示炎症部位的症状等级越低。

[0122] 因此,在处理S65中,对各有效像素将角度θ标准化,使得在角度θ为零时值成为255、在角度θ为θMAX时值成为0。需要说明的是,θMAX与血红蛋白变化轴AX1和粘膜变化轴AX2

所成的角度相等。由此,对于全部的有效像素,得到落入0~255的范围的炎症强度(8位的信

息)。

[0123] 这样,在由R成分和G成分这两种颜色成分定义的颜色平面(颜色空间)内,设定有从规定的基准点O’观察的关于对象疾病的基准方向例如血红蛋白变化轴AX1或粘膜变化轴

AX2的轴向,对于各像素,根据该颜色空间中的从基准点O’观察的像素对应点的方向从基准

方向偏离的程度来算出关于对象疾病的评价值。

[0124] 进而,在RG平面内,设定有通过基准点O’的、关于没有对象疾病的正常部位的粘膜变化轴AX2(第二基准轴),将血红蛋白变化轴AX1(第一基准轴)与粘膜变化轴AX2的交叉角

度作为最大角度θMAX而对角度θ进行标准化后算出评价值。

[0125] 需要说明的是,在处理S65中执行的、对各有效像素算出关于对象疾病的评价值(在此为炎症强度)的动作由评价值算出单元进行。根据一实施方式,优选图2所示的炎症强

度算出部222e承担上述评价值算出单元的功能。

[0126] 当炎症强度算出处理S6完成时,接着由叠加处理部222f进行叠加处理S7。在叠加处理S7中,生成以与在炎症强度算出处理S6中计算出的炎症强度对应的显示色将摄影图像

马赛克化的叠加图像数据S的原色信号R”、G”、B”。

[0127] 具体而言,为了能够显示叠加图像,在存储器226的颜色信息存储区域226f中存储有将炎症强度的值与规定的显示色对应起来的颜色表T2。在颜色表T2中,例如以每值5对应

不同的显示色。举例来说,炎症强度的值在0~5的范围内对应黄色,该值每增加5时,按照色

相环中的颜色的排列顺序对应不同的显示色,该值在250~255的范围内对应红色。

[0128] 在叠加处理S7中,通常观察图像数据N的各有效像素基于颜色表T2而被转换为与由炎症强度算出处理S6得到的炎症强度的值对应的颜色,生成由转换后的显示色显示的像

素构成的叠加图像数据S。

[0129] 需要说明的是,在叠加处理S7中执行的、生成叠加图像的动作由叠加图像生成单元进行。根据一实施方式,优选图2所示的叠加处理部222f承担叠加图像生成单元的功能。

[0130] 当叠加处理S7完成时,由叠加处理S7生成的叠加图像数据S被输出给图像存储器224,分别存储在叠加图像存储器区域0sR、0sG、0sB(k=0~6)中。

[0131] 接着,通过第二图像处理电路228的病变指数计算部228a进行病变指数计算处理S8。病变指数计算处理S8是计算内窥镜图像的有效像素数(在有效像素判定处理S4中已被

判定为适当曝光的像素数)中的、拍摄有被视为病变的部位的像素的数量(例如在炎症强度

算出处理S6中算出的炎症强度的值为一定值以上的像素的数量)所占的比例(病变指数)的

处理。需要说明的是,病变指数也可以是所有的有效像素的炎症强度的合计值或平均值等

通过其它方法算出的值。

[0132] 图11是示出病变指数计算处理S8的步骤的流程图。在病变指数计算处理S8中,首先对各参数进行复位(S81)。另外,NumO、NumR及NumW分别是对有效像素、拍摄相当于对象疾

病的第一症状等级(例如炎症强度的值为第一值以上且小于第二值)的部位的像素、及拍摄

相当于对象疾病的第二症状等级(例如炎症强度的值为第二值以上)的部位的像素进行计

数的计数器。

[0133] 需要说明的是,在处理S81、进一步后述的处理S82~87中执行的、计算有效像素的数量的动作由有效像素计数单元进行。根据一实施方式,优选图2所示的病变指数计算部

228a承担有效像素计数单元的功能。

[0134] 接着,参照标志表T1,判断关注像素(x,y)是否是有效像素(S82)。在不是有效像素的情况下(S82:否),不变更各计数器而使处理进入S87。在是有效像素的情况下(S82:是),

使计数器NumO递增(S83)。接着,判定关注像素是符合正常(例如炎症强度的值小于第一

值)、第一症状等级、第二症状等级中的哪一个的像素(S84)。如果判定为正常(S84:正常),

则直接使处理进入S87。另外,若判定为第一症状等级(S84:第一症状等级),则使计数器

NumR递增(S85),若判定为第二症状等级(S84:第二症状等级),则使计数器NumW递增后

(S86),使处理进入S87。

[0135] 接着,判定是否对全部像素(x,y)完成了处理(S87)。重复上述的处理S81~S87,直到所有像素(x,y)的处理完成为止。

[0136] 当对所有像素(x,y)的计数完成时,接着计算病变指数IdxR(S88)。病变指数IdxR是拍摄相当于第一症状等级的部位的像素数占全部有效像素数的比例,通过IdxR=NumR/

NumO来计算。

[0137] 接着,计算病变指数IdxW(S89)。病变指数IdxW是拍摄相当于第二症状等级的部位的像素数占全部有效像素数的比例,通过IdxW=NumW/NumO来计算。

[0138] 接下来,计算总病变指数IdxT(S90)。总病变指数IdxT是拍摄病变(相当于第一及第二症状等级的部位)的像素数占全部有效像素数的比例,通过IdxT=IdxR+IdxW计算。

[0139] 需要说明的是,在病变指数计算处理S8中执行的、计算病变指数和总病变指数的动作由病变指数算出单元进行。根据一实施方式,优选图2所示的病变指数计算部228a承担

上述病变指数算出单元的功能。

[0140] 在此,考虑如下情况:通过与以前说明过的方法同样的方法,针对炎症性肠病,在作为其病变的溃疡、炎症各个上计算单独的病变指数,并算出所计算的两个病变指数的合

计作为总病变指数IdxT。通过本发明人的研究,可知这样计算出的炎症性肠病的内窥镜图

像的总病变指数IdxT与表示炎症性肠病的重症度的Mayo评分之间存在强相关,总病变指数

IdxT成为用于简单地判定炎症性肠病的重症度的良好指标。

[0141] 接着,在存储器226中记录各病变指数IdxR、IdxW、IdxT(S91),病变指数计算处理S8结束。

[0142] 接着,进行是否发出静态图像保存的指令的判定S9(图5)。图像处理单元220当从驱动器信号处理电路112接收到静态图像保存的指令和电子镜100前端部的位置信息Pos

(S9:是)时,使图像存储器224的存储区域组P0中存储的通常观察图像数据N、色调增强图像

数据E以及叠加图像数据S的复制存储在与位置信息Pos对应的存储区域组P1~6中的任一

个中(S10),接着进行画面显示处理S11。如果没有来自驱动器信号处理电路112的静态图像

保存的指令(S9:否),则不进行处理S10而进入画面显示处理S11。

[0143] 需要说明的是,由图像处理单元220进行的接收位置信息Pos的上述动作通过摄像位置获取单元进行。根据一实施方式,优选图像处理单元220内的未图示的位置获取部承担

摄像位置获取单元的功能。

[0144] 下一个画面显示处理S11是生成用于在监视器300上显示的显示画面数据并转换为视频信号后输出的处理,由第二图像处理电路228的显示画面生成部228b进行。显示画面

生成部228b能够根据系统控制器202的控制而生成多种显示画面数据。

[0145] 图12是由画面显示处理S11生成的显示画面的一例,是在图像分析模式下的内窥镜观察中显示的分析模式观察画面320。分析模式观察画面320具备:显示摄像日期时间的

日期时间显示区域321、显示与检查关联的基本信息(例如病历号、患者名、手术者名)的基

本信息显示区域322、显示在病变指数计算处理S8中计算出的病变指数IdxR、IdxW、IdxT的

病变指数显示区域323、显示通常观察图像数据N(或色调增强图像数据E)的通常图像显示

区域324、以及显示叠加图像数据S(叠加处理S7后的观察图像)的分析图像显示区域325。

[0146] 在画面显示处理S11中,显示画面生成部228b从存储器226的存储区域组Q0中读取实时的病变指数IdxR、IdxW、IdxT,并显示于病变指数显示区域323。图12中的“第一症状等

级:25.8%”、“第二症状等级:19.8”以及“检测面积:45.6%”分别是病变指数IdxR、病变指

数IdxW以及总病变指数IdxT的显示。另外,显示画面生成部228b从图像存储器224的存储区

域组P0中读取实时的通常观察图像数据N(或者色调增强图像数据E)以及叠加图像数据S,

分别显示于通常图像显示区域324以及分析图像显示区域325。另外,由系统控制器202提供

的信息被显示在日期时间显示区域321和基本信息显示区域322中。

[0147] 需要说明的是,在画面显示处理S11中执行的使病变指数IdxR、病变指数IdxW和总病变指数IdxT、以及通常观察图像数据N(或色调增强图像数据E)和叠加图像数据S显示于

监视器300的动作由显示单元进行。根据一实施方式,优选图2所示的显示画面生成部228b

承担显示单元的功能。

[0148] 手术者一边观察分析模式观察画面320一边进行内窥镜观察。具体而言,一边参照显示于分析图像显示区域325的叠加图像数据S的同时观察显示于通常图像显示区域324的

通常观察图像数据N(或者色调增强图像数据E)一边进行内窥镜观察。通过对叠加图像数据

S中已着色的部位特别慎重地进行观察,能够不遗漏病变部而进行正确的诊察。另外,通过

一边参照病变指数显示区域323中显示的病变指数IdxR、IdxW、IdxT的客观且具体的数值一

边进行观察,从而能够不被从通常观察图像数据N、叠加图像数据S中受到的主观印象所左

右,进行更客观且缜密的诊断。

[0149] 例示性地,在炎症性肠病中,病变部(炎症部、溃疡部)波及到大范围,越为重症,病变部的比例越高,因此总病变指数IdxT成为重症度的良好指标。另一方面,在病变部局部存

在的疾病(例如息肉)中,由于电子镜100的前端部越接近病变部,病变部的视角越大,因此

总病变指数IdxT增大。因此,总病变指数IdxT成为是否正在接近病变部的良好指标,通过在

总病变指数IdxT开始增加时仔细地观察,能够防止病变部的漏看。

[0150] 接着,判断是否从系统控制器202接收到报告输出的执行指令(S12)。当通过对电子镜100的操作部120或电子内窥镜用处理器200的操作面板208的用户操作而指示报告输

出的执行时,系统控制器202将后述的报告输出处理S13的执行指令发送到图像处理单元

220。如果从系统控制器202发出了报告输出处理S13的执行指令(S12:是),则接着进行报告

输出处理S13。另外,如果没有发出执行指令(S12:否),则不进行报告输出处理S13而处理进

入S14。

[0151] 报告输出处理S13是生成将内窥镜检查结果进行了整理的报告画面420并将其转换为报告输出信号(印刷信号)后输出给打印机400来印刷报告画面420的处理。图13所示的

报告画面420具备大肠模型图421、病变指数列表422、病变指数分布图423、统计值列表424

以及缩略图像列表425。

[0152] 大肠模型图421图示了获取静态图像的位置(观察点),在大肠的示意图421a上配置有表示观察点1~6的多个圆形标记421b。观察点1~6分别对应于上述的图像存储器224

的存储区域组P1~P6和存储器226的存储区域组Q1~6。病变指数列表422是一览显示各观

察点1~6(422b)的总病变指数IdxT(422c)的列表。另外,病变指数分布图423是用曲线图显

示病变指数列表422的图。统计值列表424是一览显示总病变指数IdxT的统计值(平均值、方

差和标准偏差)的列表。另外,缩略图像列表425是一览显示在各观察点1~6(425a)上获取

的通常观察图像数据N(或色调增强图像数据E)的静态图缩略图像425b、叠加图像数据S的

静态图缩略图像425c以及对各通常观察图像数据N分配的病历号425d的列表。

[0153] 通过使用报告画面420,能够一眼掌握肠道在长度方向上的内窥镜图像以及病变指数的变化的情况,不仅能够准确且容易地进行诊断,还能够准确且容易地对患者进行检

查结果的说明。

[0154] 需要说明的是,在报告输出处理S13中执行的、将报告输出信号输出给打印机400的操作由报告输出单元进行。根据一实施方式,优选图2所示的报告生成部228c承担报告输

出单元的功能。

[0155] 接着,判断是否继续内窥镜观察(S14)。重复上述的处理S1~S14,直至对电子内窥镜用处理器200的操作面板208进行指示内窥镜观察结束或电子内窥镜系统1的运转停止的

用户操作(S14:否)为止。

[0156] 如上所述,根据实施方式,由于将多种病变指数的合计作为总病变指数来计算,因此能够综合评价所拍摄的被摄体的症状等级。另外,基于评价值为落入第一范围的值的像

素的数量来计算第一病变指数,基于评价值为落入第二范围的值的像素的数量来计算第二

病变指数,因此能够细致地评价病变部在每个症状等级中所占的区域的大小。因此,在隔开

几天的时间再观察同一病变部时,能够知道在每个症状等级中所占的区域的大小的时间变

化,因此能够高精度地获知病变部的进展程度。

[0157] 另外,如上所述,根据实施方式,将满足预定的条件式的像素作为有效像素,只将该有效像素作为算出评价值的对象来算出评价值,因此除了评价值计算的处理负荷被减轻

以外,还能够得到精度高的评价值。此时,根据有效像素中的评价值来计算作为与多种病变

的每一个对应的像素的数量的各病变像素数,针对多种病变的每一个,设定病变像素数相

对于有效像素数的比率作为病变指数,因此能够获知各病变在摄像图像内的有效像素中所

占的大小,能够与病变部的症状等级一起同时获知病变部的扩展。

[0158] 另外,如上所述,根据实施方式,在颜色平面内,除了设定有血红蛋白变化轴AX1(第一基准轴)以外,还设定有通过基准点O’的、关于没有对象疾病的正常部位的粘膜变化

轴AX2(第二基准轴),将血红蛋白变化轴AX1与粘膜变化轴AX2的交叉角度作为最大角度θMAX

而将角度θ标准化来算出评价值,因此能够根据0~1评价值的大小而容易区分症状等级在

各像素中的强弱。

[0159] 需要说明的是,如上所述,根据实施方式,在颜色空间转换处理S5中转换后的两种颜色成分均优选是被设定为波段相互不同的颜色成分。因此,将不被设定为波段相互不同

的色相和彩度的组合除外。在不同的波段设定的颜色成分与图像的明暗无关,图9所示的角

度θ不怎么变化,仅与基准点O’的距离变化。因此,作为转换后的两种颜色成分,优选使用以

波段设定的颜色成分。该颜色成分优选包含R成分、G成分和B成分中的至少两种。进而,优选

该颜色成分包含R成分、G成分及B成分中的任一种颜色成分。即使两种颜色成分是R成分和B

成分,在R成分和B成分的颜色空间中,也可以使用图9所示那样的相对于成为基准的轴的角

度θ来算出关于对象疾病的评价值。

[0160] 另外,评价值优选为表示生物体组织的粘膜的炎症的强度的程度的值。能够使用评价值来细致地设定粘膜的炎症的强度。在实施方式中,根据两个等级区分症状等级,但也

可以划分为三个以上的症状等级来确定病变指数。

[0161] 实施方式所涉及的电子内窥镜系统带来了本技术领域中的如下的效果以及课题的解决。

[0162] 第一,实施方式所涉及的电子内窥镜系统可以说成为用于早期发现炎症性疾病的诊断辅助。

[0163] 第二,根据实施方式的结构,能够对炎症程度(炎症强度、病变指数、叠加图像等)进行画面显示、或者增强炎症所产生的区域的图像,以使手术者能够发现难以辨认的轻度

炎症。特别是轻度炎症难以进行与正常部的辨别,因此关于轻度炎症的评价,由实施方式的

结构带来的效果变得显著。

[0164] 第三,根据实施方式的结构,能够向手术者提供客观性的评价值作为炎症度的评价,因此能够降低手术者间的诊断差。特别是能够对经验浅的手术者提供基于实施方式的

结构的客观性评价值的优点大。

[0165] 第四,根据实施方式的结构,通过减轻图像处理的负荷,能够将炎症部实时地显示为图像。因此,能够使诊断精度提高。

[0166] 第五,根据实施方式的结构,评价值计算的处理负荷被减轻,因此能够无延迟地并排或合成后显示叠加图像和通常图像。因此,能够不伴随检查时间的延长而显示叠加图像,

进而能够避免患者负担增加。

[0167] 实施方式中的观察的对象部位例如是呼吸器官等、消化器官等。呼吸器官等例如是肺、耳鼻咽喉。消化器官等例如是大肠、小肠、胃、十二指肠、子宫等。认为,实施方式所涉

及的电子内窥镜系统在观察对象为大肠的情况下效果更加显著。这是基于具体而言如下理

由。

[0168] 大肠中有能够以炎症为基准进行评价的病,就是说,发现炎症的部位的优点比其它器官大。特别是,作为以溃疡性结肠炎所代表的炎症性肠病(IBD)的指标,实施方式例示

的评价值(病变指数)是有效的。由于溃疡性结肠炎尚未确立治疗法,因此通过使用实施方

式的结构的电子内窥镜系统来早期发现而抑制发展的效果非常大。

[0169] 大肠是与胃等相比较细长的器官,得到的图像有纵深,越深处越暗。根据实施方式的结构,能够抑制评价值起因于图像内的明亮度变化的变动。因此,将实施方式所涉及的电

子内窥镜系统应用于大肠的观察时,实施方式的效果显著。即,实施方式所涉及的电子内窥

镜系统优选为呼吸器官用电子内窥镜系统或消化器官用电子内窥镜系统,更优选为大肠用

电子内窥镜系统。

[0170] 另外,轻度的炎症一般难以诊断,但根据本实施方式的结构,例如通过在画面上显示评价炎症度的结果,能够避免手术者漏看轻度炎症。特别是,关于轻度的炎症,其判断基

准并不明确,因此成为使手术者间的个人差异增大的主要原因。关于这一点,根据实施方式

的结构,也能够向手术者提供客观性的评价值,因此能够降低由个人差异引起的诊断偏差。

[0171] 需要说明的是,实施方式的上述结构不仅能够应用于炎症度,还能够应用于癌、息肉及其它伴随颜色变化的各种病变的评价值的算出,在那些情况下,也能够带来与上述同

样的有利效果。即,实施方式的评价值优选为伴随颜色变化的病变的评价值,包括炎症度、

癌症、息肉至少任一个的评价值。

[0172] 以上是实施方式的说明,但本发明并不限定于上述实施方式的结构,能够在由权利要求书的描述所表达的技术思想的范围内进行各种变形。

[0173] 在上述实施方式中,RGB颜色空间的像素数据被转换为RG平面的像素数据,使用转换后的各像素数据中包含的R成分和G成分来进行了关于对象疾病的评价,而在另一实施方

式中,使用代替RGB颜色空间而将CIE1976L*a*b*颜色空间、CIELCh颜色空间、CIE1976L*

u*v*颜色空间、HSB颜色空间、sRGB颜色空间、CMK颜色空间、CMYK颜色空间、CMYG颜色空间等

其它颜色空间(由n(n≥3)种颜色成分定义的颜色空间)的像素数据转换为比该颜色空间低

维的颜色空间(由m(n>m≥2)种颜色成分定义的颜色空间)的像素数据而得的成分,由此也

能够进行与各个颜色空间对应的、关于与上述的实施方式不同的对象疾病(胃的萎缩、大肠

肿瘤等)的评价。

[0174] 另外,在上述的实施方式中,TE处理S3在RGB颜色空间上进行,但也可以采用在颜色空间转换处理S5之后在HSI空间等其它颜色空间上进行TE处理S3的结构。

[0175] 作为在电子内窥镜系统1中使用的光源,可以使用各种各样类型的光源。另一方面,也可能有依赖于电子内窥镜系统1的观察目的等而使光源的类型设为限定性类型的方

式(例如,作为光源的类型除去激光等)。这里,校正矩阵系数M2的最佳值根据使用光源的分

光特性而变化。因此,例如在处理器200具备多种光源的情况(或者切换使用多种外部光源

的情况)下,也可以将每个光源种类的校正矩阵系数M2保存在存储器226中。由此,抑制了由

使用光源的分光特性引起的评价结果的偏差。

[0176] 另外,在上述的实施方式中,算出连结基准点O’和关注像素的像素对应点的线段L与血红蛋白变化轴AX1所成的角度θ,基于计算出的角度θ来进行关于对象疾病的评价,但本

发明不局限于此。例如,也可以算出线段L与粘膜变化轴AX2所成的角度并基于计算出的角

度来进行关于对象疾病的评价。在该情况下,算出角度越小,G成分相对于R成分越强,表示

炎症部位的重症度越低;算出角度越大,R成分相对于G成分越强,表示炎症部位的重症度越

高。因此,在图8的处理S65中,将算出角度标准化,使得在算出角度为零时值成为零、算出角

度为θMAX时值成为255。

[0177] 另外,在上述实施方式中,为了极力抑制由拍摄图像的亮度引起的对炎症评价值的影响,将血红蛋白变化轴AX1与粘膜变化轴AX2的交点设定为基准点O’,但本发明不局限

于此。例如,也可以将位于粘膜变化轴AX2上的RG平面的原点(0,0)设定为基准点O’。在该情

况下,最低限度需要的基准轴是一轴(粘膜变化轴AX2)就够了,所以处理负荷变轻,处理速

度提高。

[0178] 另外,在上述的实施方式中,虽然光源装置230与电子内窥镜用处理器200一体设置,但是,光源装置230也可以作为与电子内窥镜用处理器200分体的装置而设置。

[0179] 另外,作为固体摄像元件108,也可以使用CMOS(ComplementaryMetalOxideSemiconductor:互补金属氧化物半导体)图像传感器来代替CCD图像传感器。CMOS图像传感

器通常具有与CCD图像传感器相比图像整体变暗的倾向。因此,由上述实施方式的结构所带

来的、能够抑制由图像的明亮度引起的评价值变动这样的有利效果在使用CMOS图像传感器

作为固体摄像元件的情况下得以更显著地显现。

[0180] 为了高精度地进行诊断,优选得到高精细的图像。因此,在进一步提高诊断的精度的观点而言,图像的分辨率优选为100万像素以上,更优选为200万像素,进一步优选为800

万像素以上。图像的分辨率越高,用于对所有像素进行上述的评价值计算的处理负荷越重。

但是,根据上述实施方式的结构,能够抑制评价值计算的处理负荷,因此在处理高精细的图

像的情况下由本实施方式的结构所带来的有利效果得以显著地显现。

[0181] 另外,在上述的实施方式中,采用了使用光传感器132来获取电子镜100前端部的位置(摄像位置)的信息的结构,但本发明并不限定于该结构,也可以设为通过其它方法来

获取摄像位置的信息的结构。例如,也可以设为代替光传感器132而将具备光源和受光元件

的光学式接近传感器设置于电子镜100的插入部130的结构。在该情况下,当光学式接近传

感器插入到消化管内时,在消化管的内壁反射的传感器光由受光元件检测,从而检测接近。

因此,与上述的实施方式相反,通过将受光元件检测光的光学式接近传感器的分布长度判

断为插入到消化管内的插入部130的长度,能够获取电子镜100前端部的位置的信息。

[0182] 另外,也可以设为代替光传感器132而将根据与光学式鼠标相同的原理检测移动量(移动的距离以及方向)的移动量传感器设置于电子镜100的插入部130的结构。在该情况

下,只要在插入部130的前端附近只设置一个移动量传感器即可。

[0183] 需要说明的是,在光学式接近传感器或移动量传感器的光源中,能够使用从近红外线到可见光区域的范围的任意波长的光源(例如LD或LED),但通过使用由血红蛋白引起

的吸收少、生物体组织表面上的反射率高的红色区域的光源,能够得到高的检测精度。

[0184] 另外,也能够在内窥镜检查中从被检者的体外获取磁共振图像、X射线图像或超声波图像,再根据这些图像来决定内窥镜前端部的位置。另外,也能够通过内窥镜图像的图像

分析来计算内窥镜前端部在消化管内的移动量,由此决定内窥镜前端部的位置。

[0185] 另外,在上述的实施方式中,对于对象疾病,第一症状等级和第二症状等级的判定条件不重复,因此将总病变指数作为双方的病变指数的和进行了计算。但是,在各病变的判

定条件重复的情况下,也可以将被判定为具有任一病变的像素的数量除以有效像素数而得

到的值作为总病变指数。

[0186] 另外,上述的实施方式是通过手术者的手动操作来记录静态图像的结构,但也可以设为如下结构:在电子镜100的插入部130从检查范围的最深部拔出之际,当插入部130的

前端到达了预先设定的静态图像获取位置(观察点)时,驱动器信号处理电路112自动发出

静态图像保存的指令而自动地保存静态图像。

[0187] 另外,在上述的实施方式中,使用了具有R、G、B拜耳阵列滤色片108b的固体摄像元件108,但也可以设为使用具有补色系的Cy(青色)、Mg(品红色)、Ye(黄色)、G(绿色)的滤光

片的固体摄像元件的结构。

[0188] 附图标记说明[0189] 1电子内窥镜系统[0190] 100电子镜[0191] 132移动量传感器[0192] 200电子内窥镜用处理器[0193] 202系统控制器[0194] 220图像处理单元[0195] 222第一图像处理电路[0196] 222aRGB转换部[0197] 222bTE处理部[0198] 222c有效像素判定部[0199] 222d颜色空间转换部[0200] 222e炎症强度算出部[0201] 222f叠加处理部[0202] 224图像存储器[0203] 226存储器[0204] 228第二图像处理电路[0205] 228a病变指数计算部[0206] 228b显示画面生成部[0207] 228c报告生成部[0208] 300监视器[0209] 400打印机[0210] 600服务器。



声明:
“电子内窥镜用处理器以及电子内窥镜系统” 该技术专利(论文)所有权利归属于技术(论文)所有人。仅供学习研究,如用于商业用途,请联系该技术所有人。
我是此专利(论文)的发明人(作者)
分享 0
         
举报 0
收藏 0
反对 0
点赞 0
全国热门有色金属技术推荐
展开更多 +

 

中冶有色技术平台微信公众号
了解更多信息请您扫码关注官方微信
中冶有色技术平台微信公众号中冶有色技术平台

最新更新技术

报名参会
更多+

报告下载

2024退役新能源器件循环利用技术交流会
推广

热门技术
更多+

衡水宏运压滤机有限公司
宣传
环磨科技控股(集团)有限公司
宣传

发布

在线客服

公众号

电话

顶部
咨询电话:
010-88793500-807
专利人/作者信息登记