留言板

尊敬的读者、作者、审稿人, 关于本刊的投稿、审稿、编辑和出版的任何问题, 您可以本页添加留言。我们将尽快给您答复。谢谢您的支持!

姓名
邮箱
手机号码
标题
留言内容
验证码

基于长短时记忆神经网络的能谱核素识别方法

王瑶 刘志明 万亚平 欧阳纯萍

王瑶, 刘志明, 万亚平, 等. 基于长短时记忆神经网络的能谱核素识别方法[J]. 强激光与粒子束. doi: 10.11884/HPLPB202032.200118
引用本文: 王瑶, 刘志明, 万亚平, 等. 基于长短时记忆神经网络的能谱核素识别方法[J]. 强激光与粒子束. doi: 10.11884/HPLPB202032.200118
Wang Yao, Liu Zhiming, Wan Yaping, et al. Energy spectrum nuclide recognition method based on long short-term memory neural network[J]. High Power Laser and Particle Beams. doi: 10.11884/HPLPB202032.200118
Citation: Wang Yao, Liu Zhiming, Wan Yaping, et al. Energy spectrum nuclide recognition method based on long short-term memory neural network[J]. High Power Laser and Particle Beams. doi: 10.11884/HPLPB202032.200118

基于长短时记忆神经网络的能谱核素识别方法

doi: 10.11884/HPLPB202032.200118
基金项目: 中央军委科技委创新特区项目(17-163-15-XJ-002-002-04);湖南省教育厅重点项目(17A185);湖南省自然科学基金项目(2019JJ0486);2020年度创新型省份建设专项抗击新冠肺炎疫情应急专题项目(2020SK3010)
详细信息
    作者简介:

    王 瑶(1995—),男,硕士研究生,从事核技术及应用研究;hnuscwy@163.com

    通讯作者:

    刘志明(1972—),男,教授,从事核电子学与探测技术研究;nhdxlzm@foxmail.com

  • 中图分类号: O657.62

Energy spectrum nuclide recognition method based on long short-term memory neural network

  • 摘要: 针对新兴的能谱核素识别方法在混合放射性核素的噪声环境中存在识别速度慢、准确率较低等问题,提出了基于长短时记忆神经网络(LSTM)的能谱核素识别方法。实验使用溴化镧(LaBr3)晶体探测器,分别对环境中60Co、137Cs放射性源分组测量得到伽马能谱数据集,首先使用数据平滑方法和归一化方法进行数据预处理,然后将能谱数据按时间序列分组以获得可用的输入序列数组,最后训练LSTM模型得到预测结果。通过基于BP神经网络和卷积神经网络(CNN)的两个能谱识别模型进行对比,得到在测试集中平均识别率分别为83.45%和86.21%,而LSTM能谱识别模型平均识别率为93.04%,实验结果表明,该能谱模型在核素识别效果中表现较好,可用于快速的能谱核素识别设备上。
  • 图  1  LSTM模型结构

    Figure  1.  LSTM model structure

    图  2  基于长短时记忆神经网络的能谱核素识别模型

    Figure  2.  Spectral nuclide recognition model based on long short-term memory neural network

    图  3  LSTM能谱模型的不同学习率收敛曲线

    Figure  3.  Different learning rate convergence curves of LSTM energy spectrum model

    图  4  部分测试样本能谱数据图

    Figure  4.  Part of the test sample energy spectrum data graph

    图  5  BP和CNN能谱模型的学习率收敛曲线图

    Figure  5.  The learning rate convergence curve of BP and CNN energy spectrum models

    图  6  各模型的训练集损失曲线图和准确率图

    Figure  6.  The training set loss curve and accuracy graph of each model

    表  1  LSTM最后一个时间节点的能谱预测结果

    Table  1.   The energy spectrum prediction result of the last time node of LSTM

    sampleprediction
    60Co137Cs60Co+137Csno radioactive source
    60Co 17.25354004 −13.38463688 548.92% −859.95%
    137Cs −3.00819635 6.40356064 0.294652 2.950399
    60Co+137Cs 0.48095784 2.74640751 8.611737 −5.418062
    No radioactive source −0.71746081 −1.06083262 −3.470336 8.910439
    下载: 导出CSV

    表  2  相同测量时间的训练集和相同测量时间的测试集结果

    Table  2.   Results of the training set with the same measurement time and the test set with the same measurement time

    sample measurement time/ssize of training set datasize of test set dataaverage accuracy/%
    5 160 40 9015.00%
    10 160 40 92.26
    20 160 40 92.66
    下载: 导出CSV

    表  3  混合测量时间的训练集和混合测量时间的测试集结果

    Table  3.   Results of mixed measurement time training set and mixed measurement time test set

    sample measurement time/ssize of training set datasize of test set dataaverage accuracy/%
    5 s,10 s and 20 s mixed 480 120 9237.00%
    360 120 89.6
    240 120 90.96
    下载: 导出CSV

    表  4  混合测量时间的训练集和连续测量时间的测试集结果

    Table  4.   Results of mixed measurement time training set and continuous measurement time test set

    sample measurement time/ssize of training set datasize of test set dataaverage accuracy/%
    5 s,10 s and 20 s mixed 480 40 9207.00%
    360 40 91.57
    240 40 88.05
    下载: 导出CSV

    表  5  准确率达到100%所需训练步数和训练时长

    Table  5.   Training steps and training time required to achieve 100% accuracy

    Model nameTraining stepsTraining time /(min)
    BP 67 73.1
    CNN 66 72.78
    LSTM 40 35.26
    下载: 导出CSV

    表  6  各模型识别准确率

    Table  6.   Recognition accuracy of each model

    Model nameAccuracy of data set 1/%Accuracy of data set 2/%Accuracy of data set 3/%
    BP 83.74 83.59 8304.00%
    CNN 86.05 85.83 86.73
    LSTM 93.56 92.13 93.44
    下载: 导出CSV
  • [1] Liang Chen, Yi Xiangwei. Nuclide identification algorithm based on K–L transform and neural networks[J]. Nuclear Inst and Methods in Physics Research A, 2008, 598(2): 450-453.
    [2] 王一鸣, 魏义祥. 基于模糊逻辑的γ能谱核素识别[J]. 清华大学学报(自然科学版), 2012, 52(12):1736-1740. (Wang Yiming, Wei Yixiang. Fuzzy logic based nuclide identification for γ ray spectra[J]. Journal of Tsinghua University(Science and Technology), 2012, 52(12): 1736-1740
    [3] 问斯莹, 王百荣, 肖刚, 等. 基于序贯贝叶斯方法的核素识别算法研究[J]. 核电子学与探测术, 2016, 36(2):179-183. (Wen Siying, Wang Bairong, Xiao Gang, et al. The study on nuclide identification algorithm based on sequential Bayesian analysis[J]. Nuclear Electronics and Detection Technology, 2016, 36(2): 179-183
    [4] 张江梅, 季海波, 冯兴华, 等. 基于稀疏表示的核素能谱特征提取及核素识别[J]. 强激光与粒子束, 2018, 30:046003. (Zhang Jiangmei, Ji Haibo, Feng Xinghua, et al. Nuclide spectrum feature extraction and nuclide identification based on sparse representation[J]. High Power Laser and Particle Beams, 2018, 30: 046003
    [5] 胡浩行, 张江梅, 王坤朋, 等. 卷积神经网络在复杂核素识别中的应用[J]. 传感器与微系统, 2019, 38(10):154-156, 160. (Hu Haohang, Zhang Jianmei, Wang Kunpeng, et al. Application of convolutional neural networks in identification of complex nuclides[J]. Transducer and Microsystem Technologies, 2019, 38(10): 154-156, 160
    [6] Hochreiter S, Schmidhuber J. Long short-term memory[J]. Neural computation, 1997, 9: 1735-1780. doi:  10.1162/neco.1997.9.8.1735
    [7] Graves A, Jaitly N, Mohamed A. Hybrid speech recognition with deep bidirectional LSTM[C]//IEEE Workshop on Automatic Speech Recognition and Understanding. 2013.
    [8] Hayashi T, Watanabe S, Toda T, et al. Duration-controlled LSTM for polyphonic sound event detection[J]. IEEE ACM Transactions on Audio, Speech and Language Processing, 2017, 25(11): 2059-2070.
    [9] 任智慧, 徐浩煜, 封松林, 等. 基于LSTM网络的序列标注中文分词法[J]. 计算机应用研究, 2017, 34(5):1321-1324, 1341. (Ren Zhihui, Xu Haoyu, Feng Songlin, et al. Sequence labeling Chinese word segmentation method based on LSTM networks[J]. Application Research of Computers, 2017, 34(5): 1321-1324, 1341
    [10] Ran J. A self-attention based LSTM Network for text classification[J]. Journal of Physics: Conference Series, 2019, 1207: 12008. doi:  10.1088/1742-6596/1207/1/012008
    [11] 梁军, 柴玉梅, 原慧斌, 等. 基于极性转移和LSTM递归网络的情感分析[J]. 中文信息学报, 2015, 29(5):152-159. (Liang Jun, Chai Yumei, Yuan Huibin, et al. Polarity shifting and LSTM based recursive networks for sentiment analysis[J]. Journal of Chinese Information Processing, 2015, 29(5): 152-159
    [12] 季学武, 费聪, 何祥坤, 等. 基于LSTM网络的驾驶意图识别及车辆轨迹预测[J]. 中国公路学报, 2019, 32(6):34-42). (Ji Xuewu, Fei Cong, He Xiangkun, et al. Intention recognition and trajectory prediction for vehicles using LSTM network[J]. China Journal of Highway and Transport, 2019, 32(6): 34-42)
    [13] 祝强, 李少康, 徐臻. LM算法求解大残差非线性最小二乘问题研究[J]. 中国测试, 2016, 42(3):12-16. (Zhu Qiang, Li Shaokang, Xu Zhen. Study of solving nonlinear least squares under large residual based on Levenberg-Marquardt algorithm[J]. China Measurement and Test, 2016, 42(3): 12-16
    [14] 高伟伟, 王广龙, 陈建辉, 等. 多尺度变步长最小均方自适应算法在光纤陀螺数据处理中的应用[J]. 强激光与粒子束, 2014, 26:071002. (Gao Weiwei, Wang Guanglong, Cheng Jianhui, et al. Application of multiple-scale variable step least mean square adaptive algorithm to fiber optic gyroscope data processing[J]. High Power Laser and Particle Beams, 2014, 26: 071002 doi:  10.3788/HPLPB20142607.71002
    [15] Li Q, Huang Y, Song X, et al. Moving window smoothing on the ensemble of competitive adaptive reweighted sampling algorithm[J]. Spectrochimica Acta. Part A, Molecular And Biomolecular Spectroscopy, 2019, 214: 129-138. doi:  10.1016/j.saa.2019.02.023
    [16] Bolstad B M, Irizarry R A, Astrand M, et al. A comparison of normalization methods for high density oligonucleotide array data based on variance and bias[J]. Bioinformatics, 2003, 19(2): 185-193. doi:  10.1093/bioinformatics/19.2.185
  • [1] 赵东旭, 章红宇, 孙志嘉, 王修库, 肖亮.  CSNS多功能反射谱仪3He管探测器数据获取系统设计 . 强激光与粒子束, doi: 10.11884/HPLPB201931.190080
    [2] 刘敏, 晏峰, 庄庆贺, 熊正锋, 郝文析, 杨文森.  一种远程HPM测量数据采集系统的设计与实现 . 强激光与粒子束, doi: 10.11884/HPLPB201830.170461
    [3] 张江梅, 季海波, 冯兴华, 王坤朋.  基于稀疏表示的核素能谱特征提取及核素识别 . 强激光与粒子束, doi: 10.11884/HPLPB201830.170435
    [4] 贺清明, 曹良志, 吴宏春, 李云召.  能精确处理空间自屏效应的共振伪核素子群方法 . 强激光与粒子束, doi: 10.11884/HPLPB201729.160208
    [5] 赵尚泉, 钱达志, 王冠博, 李润东, 窦海峰, 杨鑫, 冷军, 张磊.  基于短半衰期核素的γ谱燃耗测量方法 . 强激光与粒子束, doi: 10.11884/HPLPB201729.170165
    [6] 吴屈, 余健开, 李万林, 王侃.  钍铀循环关键核素的多群数据库加工与初步验证 . 强激光与粒子束, doi: 10.11884/HPLPB201729.160337
    [7] 王小龙, 吴蕾, 陈素颖, 李春华.  振动线数据采集和数据处理方案设计与验证 . 强激光与粒子束, doi: 10.11884/HPLPB201628.160144
    [8] 廖勇, 孟凡宝, 张现福, 徐刚, 陈世韬, 谢平, 马弘舸.  扇形波导谐振宽边纵缝的归一化电导 . 强激光与粒子束, doi: 10.11884/HPLPB201628.150832
    [9] 高杨.  抗干涉齿轮集机构最优归一化编码的理论与方法 . 强激光与粒子束, doi: 10.11884/HPLPB201527.054101
    [10] 肖莹莹, 申晋, 王雅静, 刘伟, 孙贤明.  初始模型对含噪动态光散射数据正则化反演结果的影响 . 强激光与粒子束, doi: 10.11884/HPLPB201426.129003
    [11] 黄兴友, 常亚楠, 卜令兵.  一维云粒子激光探测仪研制及探测数据分析 . 强激光与粒子束, doi: 10.3788/HPLPB20132508.2101
    [12] 秦翰林, 黄洋, 姚柯柯, 周慧鑫, 刘上乾.  多尺度核局部归一化的红外图像背景抑制 . 强激光与粒子束, doi: 10.3788/HPLPB20122405.1063
    [13] 蒋薇, 赖青贵, 陈楠, 高峰.  基于B/S架构的“神龙一号”数据库系统的实现 . 强激光与粒子束,
    [14] 李晶, 谢卫平, 黄显宾, 杨礼兵, 蔡红春, 肖沙里.  Z箍缩诊断中椭圆晶体谱仪测量数据的处理 . 强激光与粒子束,
    [15] 何小安, 江少恩, 易荣清.  辐射温度的数据处理方法 . 强激光与粒子束,
    [16] 赵建印, 孙权, 周经伦, 贺少勃, 魏晓峰.  基于加速退化数据的金属化膜脉冲电容器可靠性分析 . 强激光与粒子束,
    [17] 冯静, 周经伦, 孙权.  基于高储能密度电容退化数据的可靠性评估 . 强激光与粒子束,
    [18] 向益淮, 高智星, 佟小惠, 戴辉, 汤秀章, 单玉生.  “天光一号”平滑化角多路系统的建立 . 强激光与粒子束,
    [19] 王科, 刘振安, 赵棣新, 过雅南, 阴泽杰.  北京谱仪Ⅲ中触发数据并串结合传送方法的研究 . 强激光与粒子束,
    [20] 谢彦召, 王赞基, 王群书, 孙蓓云, 郭晓强, 赵宇明.  基于频域幅度谱数据重建电磁脉冲时域波形 . 强激光与粒子束,
  • 加载中
计量
  • 文章访问数:  40
  • HTML全文浏览量:  22
  • PDF下载量:  4
  • 被引次数: 0
出版历程
  • 收稿日期:  2020-05-12
  • 修回日期:  2020-08-28
  • 网络出版日期:  2020-09-10

基于长短时记忆神经网络的能谱核素识别方法

doi: 10.11884/HPLPB202032.200118
    基金项目:  中央军委科技委创新特区项目(17-163-15-XJ-002-002-04);湖南省教育厅重点项目(17A185);湖南省自然科学基金项目(2019JJ0486);2020年度创新型省份建设专项抗击新冠肺炎疫情应急专题项目(2020SK3010)
    作者简介:

    王 瑶(1995—),男,硕士研究生,从事核技术及应用研究;hnuscwy@163.com

    通讯作者: 刘志明(1972—),男,教授,从事核电子学与探测技术研究;nhdxlzm@foxmail.com
  • 中图分类号: O657.62

摘要: 针对新兴的能谱核素识别方法在混合放射性核素的噪声环境中存在识别速度慢、准确率较低等问题,提出了基于长短时记忆神经网络(LSTM)的能谱核素识别方法。实验使用溴化镧(LaBr3)晶体探测器,分别对环境中60Co、137Cs放射性源分组测量得到伽马能谱数据集,首先使用数据平滑方法和归一化方法进行数据预处理,然后将能谱数据按时间序列分组以获得可用的输入序列数组,最后训练LSTM模型得到预测结果。通过基于BP神经网络和卷积神经网络(CNN)的两个能谱识别模型进行对比,得到在测试集中平均识别率分别为83.45%和86.21%,而LSTM能谱识别模型平均识别率为93.04%,实验结果表明,该能谱模型在核素识别效果中表现较好,可用于快速的能谱核素识别设备上。

English Abstract

王瑶, 刘志明, 万亚平, 等. 基于长短时记忆神经网络的能谱核素识别方法[J]. 强激光与粒子束. doi: 10.11884/HPLPB202032.200118
引用本文: 王瑶, 刘志明, 万亚平, 等. 基于长短时记忆神经网络的能谱核素识别方法[J]. 强激光与粒子束. doi: 10.11884/HPLPB202032.200118
Wang Yao, Liu Zhiming, Wan Yaping, et al. Energy spectrum nuclide recognition method based on long short-term memory neural network[J]. High Power Laser and Particle Beams. doi: 10.11884/HPLPB202032.200118
Citation: Wang Yao, Liu Zhiming, Wan Yaping, et al. Energy spectrum nuclide recognition method based on long short-term memory neural network[J]. High Power Laser and Particle Beams. doi: 10.11884/HPLPB202032.200118
  • 核素识别技术为我国核能勘探起了关键性的作用,而核素识别大部分都是基于能谱数据进行研究的。传统核素识别的核心思想是寻找能谱中的全能峰,再通过计算峰面积、半高宽等基本信息,最后与核素库中核素能量进行对比,最终得到核素判别信息。但是基于传统寻峰核素识别方法在处理复杂能谱数据时,其误差较大,识别率较低,在真实噪声环境中不能得到很好的识别效果。

    近年来新兴的核素识别方法有基于模糊理论方法、贝叶斯理论方法、支持向量机方法和神经网络的识别方法等,这些识别方法不再需要一些能谱专业知识储备,对掌握该专业知识的人员依赖性越来越小。2008年,Chen Liang研究通过基于K-L变换抽取能谱数据特征和神经网络方法训练模型来实现核素识别,该方法主要将能谱数据降维处理,在一定方面可以消除能谱数据冗余,但同时也会因降维处理造成能谱数据中重要信息丢失,使得能谱数据分类错误[1]。2012年,王一鸣提出了模糊逻辑的γ能谱核素识别方法,通过寻找峰信息,再通过模糊逻辑处理得到特征峰,最后比对核素库判别核素种类,这种方法主要依赖寻峰,在真实环境下生成峰形不显著的能谱数据时,经过模糊推理过程后不易得到输出结果,这也将导致识别不出核素的种类[2]。2016年,问斯莹基于序贯贝叶斯方法进行核素识别研究,其过程是将单核素源形成的光子组成脉冲事件,再根据序贯贝叶斯概率对比分析核素存在的概率。在无噪声干扰的单一核素环境下,容易准确识别核素种类,但在真实多核素噪声环境下,由于形成的光子事件是多个核素重叠效果组成,造成核素识别错误和无法识别出多个核素[3]。2018年,张江梅提出一种稀疏表示的能谱特征提取核素识别方法,该方法利用稀疏分解对单个能谱图进行特征提取,其优点避免了寻峰过程,但在实际能谱测试中仍然需要依靠设定阈值来决定稀疏分解的程度,这样使得能谱识别效果有所下降[4]。2019年,胡浩行采用卷积神经网络方法进行能谱核素识别,该模型中构建池化层和卷积层来提取能谱数据特征,这种方法比传统能谱核素识别方法依赖专业性较少,但训练该模型所用时间较大,其原因是模型中非卷积层占用了较大的计算时间,导致模型训练时间过长[5]

    以上方法在实测能谱识别中主要存在两个问题:(1)在真实环境中,存在噪声和多种核素相互干扰,采集的能谱数据较复杂,处理分析能谱数据使用特征抽取方式容易丢失利于核素分类的信息,导致核素识别准确率下降;(2)如果将能谱数据的每一个道址值全部作为神经网络的输入,这样虽然保留了能谱的关键信息,但使得复杂的神经网络模型训练困难,模型计算训练时间开销过大,不利于快速核素识别。

    因此,本文针对在真实环境中,低水平放射性核素产生峰形不显著的情况时,传统核素识别方法存在识别准确率低或者无法快速识别出核素等问题;在新兴的能谱核素识别方法中,基于BP神经网络的能谱核素识别方法会出现训练识别速度慢、准确率低等问题;在基于卷积神经网络的能谱核素识别方法中,池化层步骤会损失能谱数据部分有价值的信息,造成核素识别准确率较低等问题,故提出一种基于长短时神经网络的能谱识别方法。本文通过实际采集的能谱数据训练和测试,以验证该方法识别速度快,能谱核素识别准确率高,具有较好的鲁棒性。

    • 长短时记忆神经网络(LSTM)是由Hochreiter和Schmidhuber在1997年为了解决传统的循环神经网络(RNN)模型难以学习到长期信息之间的依赖,容易造成梯度消失和梯度爆炸问题而提出来的[6]。近些年Alex Graves对该模型进行不断地改进优化,并在诸多领域得到很好的应用[7],如音频、自然语言处理、情感分析、自动驾驶等领域[8-12]。LSTM模型能记住长期信息,对后面输出网络也能起到作用。

      LSTM模型结构由一个神经元细胞组成,神经元细胞有多个时间状态。图1是三个不同时间状态下的LSTM模型结构,其中左侧为上一个时间状态,中间为当前时间状态,右侧为下一个时间状态。当前时间状态的输入数据来源于上一时间状态下的输出结果${\rm{H_{t - 1}}}$和当前时间状态的输入${\rm{X_t}}$${\rm{H_t}}$是当前时间状态的输出,$ \sigma $是sigmoid激活函数,${\rm{tanh}}$是双曲线正切函数。$ \otimes $为矩阵乘法操作,$ \oplus $为矩阵加法操作。

      图  1  LSTM模型结构

      Figure 1.  LSTM model structure

      LSTM模型对输入的数据进行选取添加和删除的过程中,其关键部分主要依靠三个门结构:遗忘门、更新门和输出门。遗忘门通过Sigmoid层决定丢弃或保留哪些数据。Sigmoid层主要是将数据压缩到0~1之间,数据值越接近于0就越容易被丢弃,反之越接近于1则越容易被保留,为此充当了门控作用。其数学表达式为

      $$F_t = \sigma \left( {W_fX_t + W_fX_{t - 1} + b_f} \right)$$ (1)

      式中:$F_t $是遗忘门的输出值;$X_t $是当前时间输入值、$X_{t - 1} $是前一个时间的输入值;$ W_f $$ W_f $是权重和偏置;$ \sigma $是Sigmoid激活函数。

      更新门主要用来筛选数据内容和选择数据更新到状态中,主要通过Tanh层和Sigmoid层来决定。在数据筛选的过程中,首先Sigmoid层可以根据数据值的分布,有选择的过滤掉当前时间节点数据和上一次时间节点数据。Tanh层则是将数据值转换为-1~1之间,其意义是为了防止神经网络在计算过程中数据值过大,从而起到控制作用,其数学表达式为

      $$I_t = \sigma (W_iX_t + W_iX_{t - 1} + b_i)$$ (2)
      $$G_t = \tanh \left( {W_gX_t + W_gX_{t - 1} + b_g} \right)$$ (3)

      式中:$ I_t $$G_t $是更新门的输出值;$W_i $$W_g $是权重;$b_i $$b_g $是偏置;tanh是双曲正切激活函数。

      输出门将当前记忆与长期记忆组合,再通过Sigmoid激活函数层判断该结果是否输出,依此传递给下个神经元细胞,其数学表达式为

      $$O_t = F_tG_{t - 1} + I_tG_t$$ (4)
      $$Z_t = \sigma \left( {W_zX_t + W_zX_{t - 1} + b_z} \right)$$ (5)
      $$P_t = Z_t\tanh \left( {O_t} \right)$$ (6)

      式中:$ P_t $是输出门的输出值;$O_t $$ Z_t $是中间过程输出值;$ W_z $$ b_z $为权重和偏置。

      由于真实能谱中数据并不是每一个道址数据都能对核素识别有作用,而利用三门结构可以对能谱数据有选择性的筛选,通过保留能谱数据上关键的道址数据,删除对分类无用的道址数据。依靠三门结构,可以很好的处理时序化的能谱数据,完成核素分类。

    • 为了研究能谱数据中道址与道址计数之间可能存在一定的关系,本文设计了基于LSTM结构的能谱核素识别模型。图2是基于长短时记忆神经网络的能谱核素识别模型,其主要分为两个模块:数据预处理模块和LSTM神经网络模块。数据预处理模块是通过三点平滑和归一化后得到1024个道址数据,接着将该数据每隔32道址为一个时间序列,最终得到32组序列输出值。

      图  2  基于长短时记忆神经网络的能谱核素识别模型

      Figure 2.  Spectral nuclide recognition model based on long short-term memory neural network

      由于真实环境中探测器采集的伽马能谱数据存在噪声干扰和统计涨落,采用数据平滑方法能够减少异常值的影响。数据平滑方式常用方法有重心平滑法、多项式最小二乘法、自适应滤波法等[13-15]。本文采用三点重心平滑方法,即把一维能谱数据从左至右进行求和取平均值得到重心值,滑动窗口区间为三个道址,如${\rm{X_1}}$${\rm{X}}_2$${\rm{X_3}}$为能谱道址对应的累积计数值,先将左边两道址${\rm{X_1}}$${\rm{X}}_2$计数求和取平均值得到${\rm{Y_1}}$,再右边两道址${\rm{X}}_2$${\rm{X_3}}$计数求和取平均值得到${\rm{Y_2}}$,最后把${\rm{Y_1}}$${\rm{Y_2}}$和求和取平均值得到重心值${{\rm{Y}}_{1,2}}$。其数学表达式为

      $$\overline Y = \frac{1}{4}\left( {X_{i - 1} + 2X_i + X_{i + 1}} \right)$$ (7)

      式中:$X_{i - 1} $为后一个道址数据值;$ X_i $为当前道址数据值;$X_{i + 1} $为前一个道址数据值;$\overline Y $为重心数据值。

      数据归一化可以提高训练模型的收敛速度和精度,同时可以防止模型训练中梯度爆炸和梯度消失,提高模型的鲁棒性[16]。本文采用max-min全局归一化方法,使其能谱数据映射到[0,1]区间。其数学表达式为

      $$Y = \frac{{X - X_{\min} }}{{X_{\max} - X_{\min} }}$$ (8)

      式中:$ X $为当前道址数据值;$ X_{\min} $$ X_{\max} $为全局道址数据值的最小值和最大值;$ Y $为得到的输出值。

      LSTM神经网络模块中包含输入层、隐藏层和输出层。输入层为32组时间序列值,模型训练时,每组序列值按照先后顺序进行输入;隐藏层中的输入值不仅包含当前时间序列值,还通过逻辑门结构有选择性的保留上一次隐藏层的值;输出层使用dropout方法防止模型过拟合,其输出结果为最后一个时间节点核素识别的预测值,该值为核素定量的信息值,最后通过比较得到最大值来判断当前能谱数据属于哪种核素类型,从而达到核素识别效果。

    • 实验采用溴化镧(LaBr3)晶体探测器,放射源为60Co、137Cs,探头与放射源之间的距离为1 cm,通过串口数据线将PC机与探测器连接通讯。测量环境为本地带噪声干扰的空气环境。实验训练和测试所用设备的配置为CPU英特尔酷睿i5-8400 @ 2.80 GHz六核;内存8 GB;显卡NVIDA GeForce GTX 1050 Ti。使用Tensorflow工具完成基于LSTM神经网络的能谱模型搭建工作。

    • 实验中用到两种核素放射源60Co、137Cs、与环境本底分别形成4种组合,分别是60Co、137Cs、60Co+137Cs和无放射源环境本底。在不同的测量时间5、10,20 s分别采集伽马能谱数据,每组每次生成50条样本,四种组合总计产生600条实验数据作为数据集。

      LSTM模块中时间节点设置为32,有128个隐藏层单元数据,训练步数为120。图3为LSTM能谱模型的不同学习率收敛曲线,当学习率为0.01和0.00001时,损失函数难以收敛,而学习率为0.1时,收敛速度较慢,容易陷入局部最优解,当学习率为0.001和0.0001时,都具有较好的收敛趋势,其前者学习率比后者学习率的收敛速度要快,由上可知,学习率设为0.001时可达到最佳训练效果。

      图  3  LSTM能谱模型的不同学习率收敛曲线

      Figure 3.  Different learning rate convergence curves of LSTM energy spectrum model

      假设测试样本个数为$ M $,通过能谱模型识别得到识别正确的样本为$ T $,模型训练预测的次数为$n $,则能谱核素识别的准确率$ P $数学表达式为(9)所示,平均准确率$\overline P $的数学表达式为(10)所示。

      $$P = \frac{T}{M}*100\% $$ (9)
      $$\overline P = \Bigg(\sum\limits_{i = 1}^n {\frac{{T_i}}{{M_i}}} \Bigg)/n*100\% $$ (10)

      式中:$M_i $为第i次测试样本总数;$ T_i $为第i次识别正确样本总数。

      根据LSTM能谱模型训练200个样本,再测试150个样本。图4是测量5 s时部分测试样本能谱数据图,可以看出所有能谱数据都带有环境噪声干扰。表1是图上四个测试样本中LSTM最后一个时间节点的能谱预测结果,从表中可以看出,样本预测的最大值都与正确的预测核素对应,因此当前四个核素能谱识别准确率为100%,验证了该能谱模型可以正确识别核素。

      表 1  LSTM最后一个时间节点的能谱预测结果

      Table 1.  The energy spectrum prediction result of the last time node of LSTM

      sampleprediction
      60Co137Cs60Co+137Csno radioactive source
      60Co 17.25354004 −13.38463688 548.92% −859.95%
      137Cs −3.00819635 6.40356064 0.294652 2.950399
      60Co+137Cs 0.48095784 2.74640751 8.611737 −5.418062
      No radioactive source −0.71746081 −1.06083262 −3.470336 8.910439

      图  4  部分测试样本能谱数据图

      Figure 4.  Part of the test sample energy spectrum data graph

      实验分为三种情况进行:第一种是训练集和测试集的样本数据为同一测量时间,来研究该模型是否对各种测量时间段累积的能谱数据都适用,其中训练集的数据为160个,测试集为40个,得到测试集平均准确率结果如表2所示;第二种是训练集和测试集的样本数据为混合测量时间,同时训练集数据分为480、360、240,其中测试集的个数为120,以此考验在少样本情况下,模型是否依然适用,测试集平均准确率结果如表3所示;第三种是训练集采用混合测量时间,测试集采用60Co、137Cs、60Co+137Cs和无放射源带噪声四种情况下连续测量到10 s,每种情况产生10个能谱数据,用以分析模型的鲁棒性,测试集平均准确率结果如表4所示。以上三种实验模型训练预测的次数都为120。

      表 2  相同测量时间的训练集和相同测量时间的测试集结果

      Table 2.  Results of the training set with the same measurement time and the test set with the same measurement time

      sample measurement time/ssize of training set datasize of test set dataaverage accuracy/%
      5 160 40 9015.00%
      10 160 40 92.26
      20 160 40 92.66

      表 3  混合测量时间的训练集和混合测量时间的测试集结果

      Table 3.  Results of mixed measurement time training set and mixed measurement time test set

      sample measurement time/ssize of training set datasize of test set dataaverage accuracy/%
      5 s,10 s and 20 s mixed 480 120 9237.00%
      360 120 89.6
      240 120 90.96

      表 4  混合测量时间的训练集和连续测量时间的测试集结果

      Table 4.  Results of mixed measurement time training set and continuous measurement time test set

      sample measurement time/ssize of training set datasize of test set dataaverage accuracy/%
      5 s,10 s and 20 s mixed 480 40 9207.00%
      360 40 91.57
      240 40 88.05
    • 由实验可知,LSTM能谱模型对于同一测量时间测试集的平均准确率达到90%以上,而对于少样本混合数据训练出来的模型准确率有下降趋势,由一定数量样本的混合模型在持续测量时间中,识别出核素依然比较稳定,体现了该模型的鲁棒性较好。

      本文使用BP神经网络和CNN神经网络的能谱方法作对比实验,其中BP能谱模型中输入为1024个特征值;CNN的能谱模型有1个卷积层、1个池化层和1个全连接层,卷积核的高度和宽度都为5。

      由BP神经网络的能谱模型的不同学习率收敛曲线图5(a)可知,学习率为0.1的收敛速度比学习率为0.01、0.001、0.0001和0.00001的收敛速度较快,不容易陷入局部最优解,本文要使得BP神经网络的能谱模型达到较低的损失值和较快的收敛速度,故选择学习率为0.2来达到较好的训练效果。图5(b)为CNN的能谱模型的不同学习率曲线,当学习率为0.1和0.01时,模型训练时容易出现梯度爆炸现象,故而研究学习率为0.001、0.0001和0.00001。从图中可以得出,学习率为0.00001的收敛速度过慢,而在CNN的能谱模型的训练初期,学习率为0.001的收敛速度比学习率0.0001的收敛速度要快,最终损失函数值较低,因此选用学习率为0.001。

      图  5  BP和CNN能谱模型的学习率收敛曲线图

      Figure 5.  The learning rate convergence curve of BP and CNN energy spectrum models

      通过训练集损失曲线图6(a)和训练集准确率图6(b)结果可以看出,三者模型最终都能实现分类效果。其中,BP神经网络和CNN的能谱模型收敛速度较慢,而LSTM能谱模型只需较少的训练时间就能够达到较高的准确率,表5是三者模型之间训练集准确率达到100%时所需的训练步数和训练时长。从表中得知,当训练集的准确率相同时,基于LSTM的能谱模型比其他两种的能谱模型训练步数少且训练时间短,说明该模型训练时长短,识别准确率高。表6为各模型识别准确率,与BP神经网络能谱和CNN能谱模型进行对比,实验通过随机生成三组不同的150条训练样本和200条测试样本,并分别进行120次迭代训练与预测,最终得到三组数据的平均准确率分为83.45%和86.21%,而LSTM能谱模型为93.04%,验证了LSTM能谱模型在能谱核素识别上的优势。

      图  6  各模型的训练集损失曲线图和准确率图

      Figure 6.  The training set loss curve and accuracy graph of each model

      表 5  准确率达到100%所需训练步数和训练时长

      Table 5.  Training steps and training time required to achieve 100% accuracy

      Model nameTraining stepsTraining time /(min)
      BP 67 73.1
      CNN 66 72.78
      LSTM 40 35.26

      表 6  各模型识别准确率

      Table 6.  Recognition accuracy of each model

      Model nameAccuracy of data set 1/%Accuracy of data set 2/%Accuracy of data set 3/%
      BP 83.74 83.59 8304.00%
      CNN 86.05 85.83 86.73
      LSTM 93.56 92.13 93.44
    • 本文提出了基于长短时记忆神经网络的能谱核素识别方法,通过对能谱数据平滑和归一化处理,提升了LSTM能谱模型的训练效果和模型泛化的能力。在真实环境情况下,通过相同测量时间的训练集和相同测量时间的测试集实验、混合测量时间的训练集和混合测量时间的测试集实验和混合测量时间的训练集和连续测量时间的测试集实验进行验证该方法,同时与基于BP神经网络的能谱核素方法和基于CNN的能谱核素方法进行了对比,结果表明:(1)该模型对训练样本的数量有一定的要求,实验上表现当训练样本的数量下降时,模型预测的准确率也随之下降;(2)在相同训练和测试集的实验中,该模型比基于BP和CNN的能谱模型准确率都要高,所用识别的总时间要短。本文的LSTM能谱模型在少量单一放射性元素和混合放射性元素中识别效果显著,对于多放射性核素复杂的混合组合将在下一阶段进行研究,模型也有待于进一步的优化和提高。

目录

    /

    返回文章
    返回