可见光与近红外光舌下图像采集系统的制作方法
【专利摘要】可见光与近红外光舌下图像采集系统，属于舌下图像【技术领域】。本发明是为了解决采用现有设备获取的舌下图像信号质量差，并且包含有效信息有限，及其图像信号处理难于标准化的问题。它的左支撑板、右支撑板、上支撑板、下支撑板和后背板围成一长方体空腔，该长方体空腔内设置光源模块和摄像机模块，长方体空腔的开口端作为测试端，该测试端与后背板所在端面相对；左支撑板和右支撑板的内侧表面靠近下支撑板的位置对应设置一对相互平行的凹槽，内插板插接固定在凹槽内；显示器设置在上支撑板上，并靠近后背板一侧。本发明用于可见光与近红外光舌下图像的采集。
【专利说明】可见光与近红外光舌下图像采集系统

【技术领域】
[0001] 本发明涉及可见光与近红外光舌下图像采集系统，属于舌下图像【技术领域】。

【背景技术】
[0002] 舌作为人体唯一外露的脏器，观其象既能反映人体的总体健康状态，又能揭示人 体五脏六腑的局部病变，有时甚至还能发现B超、CT、核磁共振等现代医疗设备所不能检查 出的病变。
[0003] 近年来，伴随着舌诊的现代化，特别是舌诊客观化检测仪器的现代化，国内外的舌 象特别是针对舌面图像方面的量化研宄工作得到了广泛的开展。在舌图像采集设备、舌象 量化特征提取、基于量化特征的舌象诊断及舌诊系统的建立等方面都取得了一定的成果。 但是，目前对中医舌诊的重要组成部分一一舌下络脉诊法的量化研宄开展得还非常少。 [0004] 以门脉高压症为例，作为一种由多种原因所致门静脉血循环障碍的临床综合表 现，目前西医临床评价门静脉压力的方法主要为传统的数字减影血管造影的创伤性方法， 但由于其创伤性大，技术要求高，患者受射线量大及并发症多等因素使其很难作为常规检 查。而在中医舌下络脉诊法中，根据舌脉管径扩张、形态改变、色暗紫及病人有肝病史的信 息，即应诊断患有门脉高压症。此外，舌脉伸张呈螺丝状串珠样改变，色绛紫有咳嗽气喘病 史，即应考虑为肺心病；舌脉伸长羽状侧支形成，有瘀斑瘀点、色红或淡紫，伴有胸闷气短且 血压升高者，多考虑为高血压病。三种疾病，由于其病理机制不同，其产生的舌下络脉病变 程度各有不同，更进一步说明，在某些病症中，观察舌底部，即舌下区域，具有重要的辨证辨 病意义，值得应用研宄。
[0005] 近年来，舌下络脉诊法的客观化研宄已经逐渐引起众多学者的注意，但由于大多 数现有舌诊图像采集仪器都是以舌上表面为主要采集对象，相较于能伸出口腔张开较大面 积的舌面区域，舌下络脉诊法所需观察的舌下静脉、舌下赘生物等诊断特征都位于无法伸 出口腔且面积较小的舌底部。因此，应用现有舌诊图像采集仪器所获取的图像中舌下图像 区域很小，受舌下图像信号质量及其所包含有效信息量等方面的制约，大多数针对舌下区 域的研宄仍停留在对舌下静脉进行初步的轮廓提取及粗略诊断特征的提取阶段。舌下图像 信号这一数据源的缺陷导致舌下络脉诊法中的诊断特征难以标准化、定量化，更不用提将 舌下特征应用于临床诊病。因此，舌下络脉诊法的客观化研宄必须从舌下图像获取策略阶 段进行全新的探索，进而寻求针对标准化舌下图像进行多种舌下特征提取与量化的解决方 案，最终结合中医舌下络脉诊法理论应用量化的舌下特征进行疾病诊断。


【发明内容】

[0006] 本发明目的是为了解决采用现有设备获取的舌下图像信号质量差，并且包含有效 信息有限，及其图像信号处理难于标准化的问题，提供了一种可见光与近红外光舌下图像 采集系统。
[0007] 本发明所述可见光与近红外光舌下图像采集系统，它包括外壳、光源模块、摄像机 模块以及显示器，
[0008] 外壳由左支撑板、右支撑板、上支撑板、下支撑板、后背板和内插板组成，
[0009] 左支撑板、右支撑板、上支撑板、下支撑板和后背板围成一长方体空腔，该长方体 空腔内设置光源模块和摄像机模块，长方体空腔的开口端作为测试端，该测试端与后背板 所在端面相对；左支撑板和右支撑板的内侧表面靠近下支撑板的位置对应设置一对相互平 行的凹槽，内插板插接固定在凹槽内；显示器设置在上支撑板上，并靠近后背板一侧；
[0010] 光源模块包括电路板、近红外LED、白炽灯、四个风扇、散热片和开关电源，电路板 固定设置在长方体空腔的开口端，将长方体空腔分隔为测试空间和图像采集空间，图像采 集空间为电路板与后背板之间的长度空间；电路板的中心设置图像采集通孔，电路板的面 向图像采集空间的表面上设置散热片，散热片四个角的位置分别设置一个风扇；电路板的 外侧表面上沿图像采集通孔圆周向均匀焊接有近红外LED，电路板外侧表面的四外边框位 置分别设置一个白炽灯；开关电源设置于图像采集空间内，用于为近红外LED、白炽灯、风 扇和显示器提供工作电源；
[0011] 摄像机模块包括2CCD工业相机、近红外镜头、底座和交换机，底座和交换机设置 在图像采集空间的内插板上，2C⑶工业相机固定在底座上，2C⑶工业相机旋有近红外镜 头，近红外镜头伸出图像采集通孔，近红外镜头的光心与电路板图像采集通孔的中心共线； 2(XD工业相机经由交换机的网口传输数据；
[0012] 开关电源还用于为2C⑶工业相机提供工作电源。
[0013] 在长方体空腔的开口端，上支撑板的边缘具有一个向下的倾斜面，该倾斜面的底 面中心具有一鼻外轮廓弧形支撑口。
[0014] 左支撑板和右支撑板上分别设置散热孔。
[0015] 电路板为铝基板电路板。
[0016] 2CXD工业相机具有GigE传输网口，该GigE传输网口与交换机的网口连接，并传输 数据。
[0017] 本发明的优点：本发明系统旨在为舌下络脉诊法的客观化研宄提供尽可能多地捕 捉舌下诊断特征的舌下图像，由于舌下静脉因其生理特点使得在彩色舌下图像中无法被完 整地表现，根据静脉在近红外光源环境下能够清晰成像的原理，本发明给出了能同时采集 彩色舌下图像与近红外舌下图像的设备解决方案，在获取反应舌下静脉生理特点的成像效 果的同时，也捕捉可见光环境下包括舌下静脉在内的其他舌体特征。
[0018] 本发明系统获得图像清晰，并且包括舌像诊断所需的全部舌下信息，有利于图像 信号处理的标准化。

【专利附图】

【附图说明】
[0019] 图1是本发明所述可见光与近红外光舌下图像采集系统的内部结构示意图；
[0020] 图2是可见光与近红外光舌下图像采集系统的外部轮廓的一个方位立体结构图；
[0021] 图3是可见光与近红外光舌下图像采集系统的外部轮廓的另一个方位立体结构 图；
[0022] 图4是摄像机模块的示意图；
[0023] 图5是光源模块的一侧表面不意图；
[0024] 图6是光源模块的另一侧表面不意图；
[0025] 图7是彩色舌下图像中舌腹面轮廓提取方法流程图；
[0026] 图8是彩色舌下图像中赘生物的提取方法流程图；
[0027] 图9是近红外舌下图像中舌下静脉轮廓的提取方法流程图；
[0028] 图10是本发明系统获得的图像的处理过程总体流程图。

【具体实施方式】

【具体实施方式】 [0029] 一：下面结合图1至图6说明本实施方式，本实施方式所述可见光与 近红外光舌下图像采集系统，它包括外壳、光源模块、摄像机模块以及显示器4，
[0030] 外壳由左支撑板11、右支撑板12、上支撑板13、下支撑板14、后背板16和内插板 15组成，
[0031] 左支撑板11、右支撑板12、上支撑板13、下支撑板14和后背板16围成一长方体空 腔，该长方体空腔内设置光源模块和摄像机模块，长方体空腔的开口端作为测试端，该测试 端与后背板16所在端面相对；左支撑板11和右支撑板12的内侧表面靠近下支撑板14的 位置对应设置一对相互平行的凹槽，内插板15插接固定在凹槽内；显示器4设置在上支撑 板13上，并靠近后背板16 -侧；
[0032] 光源模块包括电路板21、近红外LED22、白炽灯23、四个风扇24、散热片25和开关 电源26,电路板21固定设置在长方体空腔的开口端，将长方体空腔分隔为测试空间和图像 采集空间，图像采集空间为电路板21与后背板16之间的长度空间；电路板21的中心设置 图像采集通孔，电路板21的面向图像采集空间的表面上设置散热片25,散热片25四个角的 位置分别设置一个风扇24 ;电路板21的外侧表面上沿图像采集通孔圆周向均匀焊接有近 红外LED22,电路板21外侧表面的四外边框位置分别设置一个白炽灯23 ;开关电源26设置 于图像采集空间内，用于为近红外LED22、白炽灯23、风扇24和显示器4提供工作电源；
[0033] 摄像机模块包括2CXD工业相机31、近红外镜头32、底座33和交换机34,底座33 和交换机34设置在图像采集空间的内插板15上，2C⑶工业相机31固定在底座33上，2CXD 工业相机31旋有近红外镜头32,近红外镜头32伸出图像采集通孔，近红外镜头32的光心 与电路板21图像采集通孔的中心共线；2(XD工业相机31经由交换机34的网口传输数据；
[0034] 开关电源26还用于为2CXD工业相机31提供工作电源。
[0035] 经由交换机34的网口传输的数据包括2CXD工业相机31采集获得的彩色舌下图 像与近红外舌下图像；2CCD工业相机31采集获得的彩色舌下图像由交换机34传递给计算 机，再由计算机传递给显示器4进行显示。
[0036] 由于采集舌下图像时需被采集者上卷舌体，展露出舌下区域的诊断特征并静置片 亥IJ，才能获取清晰的图像效果。但由于人的舌体经常轻微颤动，如果应用不同摄像机分别采 集同一被采集者的彩色舌下图像与近红外舌下图像，所得到的两种舌下图像会呈现明显差 异，不利于后续同种特征的比较与分析。此外，如果采用彩色摄像机与近红外摄像机两台相 机同时采集舌下图像，虽然能够捕捉到同一舌体在同一时刻的状态，但需要考虑的问题较 多，如①两个摄像机的位置及相应光源的位置安排；②在获取不同类型图像时，摄像机以及 对应光源的切换机制；③由于使用两台摄像机产生的位置偏差，需要对获取的图像进行图 像配准等等。这都会造成设备复杂度大大增加，设备的体积也大幅增大。
[0037] 因此，本实施方式采用JAI公司的2CCD摄像机，在同一光学孔径下同时采集可见 光与近红外光的光谱成像图像，并将两种图像经由两个传输通道同时输出。一个通道输出 可见光条件下通过Bayer转换得到的彩色图像；另一个通道输出近红外光条件下的单色图 像。
[0038] 摄像机模块中交换机用于将2CCD工业相机获得的两路图像数据传出。由于本发 明需同时采集彩色与近红外两种图像，因此，要求摄像机的镜头具有对可见光与近红外光 的双重通过性，这里选用保留对可见光通过性的近红外镜头。由交换机输出的数据最终输 入计算机进行图像处理，实现将2CCD相机所拍摄两组图像序列传输到计算机上。
[0039] 显示器主要用于将摄相机所捕捉的彩色舌下图像序列实时显示，使被采集者能够 看到自己舌体的拍摄情况，以辅助被采集者调整伸舌姿态。此处显示器的视频源是计算机 端获得的两路视频源中的彩色舌下图像序列构成的视频流经设备外壳视频输入端口传输 到液晶显示器上的成像。
[0040] 开关电源及交换机由设备开关控制，设备外端采用220V市电供电。

【具体实施方式】 [0041] 二：下面结合图2和图3说明本实施方式，本实施方式对实施方式一 作进一步说明，在长方体空腔的开口端，上支撑板13的边缘具有一个向下的倾斜面，该倾 斜面的底面中心具有一鼻外轮廓弧形支撑口。
[0042] 本实施方式为固定被采集者的头部，且使被采集者伸舌时能保持较一致的头部姿 态，在上支撑板靠近被采集者一端专门设计了 一个光滑且符合鼻外轮廓的鼻支撑设计。

【具体实施方式】 [0043] 三：下面结合图1至图3说明本实施方式，本实施方式对实施方式一 或二作进一步说明，左支撑板11和右支撑板12上分别设置散热孔。
[0044]由于本发明系统中应用光源、摄像机、开关电源等较多放热组件，因此，在左支撑 板11和右支撑板12上分别设置了两组散热孔。

【具体实施方式】 [0045] 四：本实施方式对实施方式一、二或三作进一步说明，电路板21为 铝基板电路板。
[0046] 由于光源模块中两种光源在持续工作时放热量较大，普通的玻纤PCB电路板无法 负载其长时间工作，因此需选用具有较好散热功能的铝基板，同时配合风扇、散热片等散热 装置，使元器件发出的热量更有效地传导到散热片上，再经散热片散发到周围空气中，配合 设备外壳上的四组散热孔，利用风扇及时将光源、摄像机等组件产生的大量热量从设备内 部排出，有效维持设备的正常运转。

【具体实施方式】 [0047] 五：本实施方式对实施方式一、二、三或四作进一步说明，2CXD工业 相机31具有GigE传输网口，该GigE传输网口与交换机34的网口连接，并传输数据。
[0048] 下面结合图7至图10对本发明系统采集获得的图像的处理过程进行说明：
[0049] 舌下络脉诊断用多光谱舌下图像特征提取方法，该图像提取方法对可见光与近红 外光舌下图像采集系统同时采集获得彩色舌下图像与近红外舌下图像进行提取，所述图像 提取方法包括彩色舌下图像中舌腹面轮廓的提取、彩色舌下图像中赘生物的提取及近红外 舌下图像中舌下静脉轮廓的提取；
[0050] 其中彩色舌下图像中舌腹面轮廓的提取方法为：
[0051] 首先去除彩色舌下图像中阴影与牙齿区域的干扰：将彩色舌下图像的色彩空间由 RGB模式转换为Lab模式，提取Lab模式彩色舌下图像中的a分量，并对其进行直方图均衡 化处理，以增强阴影与牙齿区域相对于舌腹面区域的对比度；再通过阈值化处理，分离a分 量中色度值低于预设值的像素点，并将该像素点判定为干扰区域像素点，然后将原彩色舌 下图像中与所述像素点相对应位置的RGB值置0,实现彩色舌下图像中阴影与牙齿区域的 干扰去除，获得舌腹面所在区域；
[0052] 然后对获得的舌腹面所在区域进行粗分割：采用基于直方图对比度的方法获得彩 色舌下图像的显著性图，经过提取和筛选，在显著性图中分离出具有最高显著性的阴影带， 获得包含舌腹面区域的最小外接矩形，并将该最小外接矩形作为GrabCut的初始化边界， 所述最小外接矩形的内部作为包含舌腹面区域的可能前景，外部作为舌腹面区域的背景； 再采用GrabCut算法对所述舌腹面区域进行GrabCut自动分割，获得粗分割后的舌腹面候 选区域；
[0053] 再对粗分割后的舌腹面候选区域进行二次分割：采用基于直方图对比度的方法获 得粗分割后的舌腹面候选区域的显著性图，采用阈值化方法去除舌腹面候选区域的显著性 图中低显著区域，获得舌腹面候选区域的显著性图中最大连通区域的最小外接矩形，应用 该最大连通区域的最小外接矩形初始化GrabCut算法，对粗分割后的舌腹面候选区域进行 GrabCut自动分割，获得彩色舌下图像中舌腹面轮廓；
[0054] 彩色舌下图像中赘生物的提取方法为：
[0055] 首先对彩色舌下图像的反光区域进行过检测：将彩色舌下图像中舌腹面轮廓的提 取方法中获得的舌腹面轮廓包围的区域进行阈值化，在该阈值化过程中进行反光区域阈值 选取时增加高亮度值区域的权重，将舌腹面轮廓包围的区域中高亮区域完全剔除，然后使 用基于Fast Marching的图像修复方法对被剔除的高亮区域进行区域填充，得到舌下赘生 物与舌质视觉差异增大的舌下赘生物图像效果图，所述舌质为舌腹面轮廓包围的区域中除 舌下赘生物以外的其它区域；
[0056] 然后对舌下赘生物图像效果图进行粗分割：使用多阈值大津法在舌下赘生物图像 效果图的直方图的相邻波峰之间寻找最佳波谷，以将舌下赘生物图像效果图中赘生物与舌 质分离，获得舌下赘生物的粗分割图像；
[0057] 再对舌下赘生物的粗分割图像进行非舌下赘生物区域的剔除：使用几何测度筛 除，将舌下赘生物的粗分割图像进行小范围阴影形态学膨胀处理，若膨胀结果与小范围阴 影不重合，则确定该小范围阴影区域为非赘生物区域，并将非赘生物区域剔除，获得保留的 赘生物区域；
[0058] 将保留的赘生物区域的边缘叠加在所述彩色舌下图像中，得到最终的赘生物提取 图像；
[0059] 近红外舌下图像中舌下静脉轮廓的提取方法为：
[0060] 首先对近红外舌下图像进行舌腹面轮廓的提取：根据彩色舌下图像中舌腹面轮廓 的提取方法中获得的舌腹面轮廓边缘像素点位置，在近红外舌下图像中确定舌腹面轮廓区 域，提取获得近红外舌下图像的舌腹面轮廓图像；
[0061] 然后去除近红外舌下图像的舌腹面轮廓图像中反光点：确定该舌腹面轮廓图像 的统计直方图中反光点区域的灰度值变化范围，通过阈值化方法剔除反光点区域，再使用 8_邻域最小值法填充被剔除的反光点区域，并对8-邻域为反光点的像素点进行灰度形态 学开运算，进一步消除统计直方图中的其它反光点区域，获得近红外舌下图像的舌下静脉 轮廓初步图像；
[0062] 再提取候选舌下静脉区域图像：通过直方图统计的方法获得近红外舌下图像的舌 下静脉轮廓初步图像的初始阈值μ，并根据该初始阈值将舌下静脉轮廓初步图像像素分为 A、B两个区域，计算获得区域A的像素灰度均值为U1，区域B的像素灰度均值为μ 2，再计 算获得A、B两个区域内所有像素点分别到μ i、μ 2的欧氏距离d i、d2，并将A、B两个区域内 的像素全部采用二值化法置为〇和255 :

【权利要求】
1. 一种可见光与近红外光舌下图像采集系统，其特征在于，它包括外壳、光源模块、摄 像机模块以及显示器（4)， 外壳由左支撑板（11)、右支撑板（12)、上支撑板（13)、下支撑板（14)、后背板（16)和 内插板（15)组成， 左支撑板（11)、右支撑板（12)、上支撑板（13)、下支撑板（14)和后背板（16)围成一长 方体空腔，该长方体空腔内设置光源模块和摄像机模块，长方体空腔的开口端作为测试端， 该测试端与后背板（16)所在端面相对；左支撑板（11)和右支撑板（12)的内侧表面靠近下 支撑板（14)的位置对应设置一对相互平行的凹槽，内插板（15)插接固定在凹槽内；显示器 (4)设置在上支撑板（13)上，并靠近后背板（16) -侧； 光源模块包括电路板（21)、近红外LED(22)、白炽灯（23)、四个风扇（24)、散热片（25) 和开关电源（26)，电路板（21)固定设置在长方体空腔的开口端，将长方体空腔分隔为测试 空间和图像采集空间，图像采集空间为电路板（21)与后背板（16)之间的长度空间；电路 板（21)的中心设置图像采集通孔，电路板（21)的面向图像采集空间的表面上设置散热片 (25)，散热片（25)四个角的位置分别设置一个风扇（24);电路板（21)的外侧表面上沿图 像采集通孔圆周向均匀焊接有近红外LED(22)，电路板（21)外侧表面的四外边框位置分别 设置一个白炽灯（23);开关电源（26)设置于图像采集空间内，用于为近红外LED(22)、白炽 灯（23)、风扇（24)和显示器（4)提供工作电源； 摄像机模块包括2CCD工业相机（31)、近红外镜头（32)、底座（33)和交换机（34)，底 座（33)和交换机（34)设置在图像采集空间的内插板（15)上，2CCD工业相机（31)固定在 底座（33)上，2CXD工业相机（31)旋有近红外镜头（32)，近红外镜头（32)伸出图像采集通 孔，近红外镜头（32)的光心与电路板（21)图像采集通孔的中心共线；2C⑶工业相机（31) 经由交换机（34)的网口传输数据； 开关电源（26)还用于为2CCD工业相机（31)提供工作电源。
2. 根据权利要求1所述的可见光与近红外光舌下图像采集系统，其特征在于，在长方 体空腔的开口端，上支撑板（13)的边缘具有一个向下的倾斜面，该倾斜面的底面中心具有 一鼻外轮廓弧形支撑口。
3. 根据权利要求1所述的可见光与近红外光舌下图像采集系统，其特征在于，左支撑 板（11)和右支撑板（12)上分别设置散热孔。
4. 根据权利要求1所述的可见光与近红外光舌下图像采集系统，其特征在于，电路板 (21)为铝基板电路板。
5. 根据权利要求1所述的可见光与近红外光舌下图像采集系统，其特征在于，2CCD工 业相机（31)具有GigE传输网口，该GigE传输网口与交换机（34)的网口连接，并传输数据。
【文档编号】A61B5/00GK104510447SQ201510016921
【公开日】2015年4月15日 申请日期:2015年1月13日 优先权日:2015年1月13日
【发明者】闫子飞, 沈毅, 张大鹏, 李乃民, 朱焕超, 丁皓伦 申请人:哈尔滨工业大学