欢迎访问中南医学期刊社系列期刊网站!

首页 在线期刊 2024年 第33卷,第9期 详情

基于比例失衡法联合机器学习算法对艾司氯胺酮不良事件的信号挖掘与分析

更新时间:2024年10月01日阅读:1087次 下载:366次 下载 手机版

作者: 陈曦 1 刘畅 1 凌一 1 张鹤巍 2 郭晓晶 2

作者单位: 1. 海军军医大学基础医学院(上海 200433) 2. 海军军医大学卫生勤务学系军队卫生统计学教研室(上海 200433)

关键词: 艾司氯胺酮 难治性抑郁症 药品不良事件 信号检测 比例失衡法 机器学习 FAERS数据库 药物警戒

DOI: 10.12173/j.issn.1005-0698.202408074

基金项目: 国家自然科学基金面上项目(82073671);国家自然科学基金青年科学基金项目(81703296);上海市公共卫生体系建设三年行动计划优青计划(GWV-10.2-YQ33)

引用格式: 陈 曦,刘 畅,凌 一,张鹤巍,郭晓晶.基于比例失衡法联合机器学习算法对艾司氯胺酮不良事件的信号挖掘与分析[J]. 药物流行病学杂志,2024, 33(9):961-970.DOI: 10.12173/j.issn.1005-0698.202408074.

CHEN Xi, LIU Chang, LING Yi, ZHANG Hewei, GUO XiaojingSignal mining and analysis of adverse events of esketamine based on proportional imbalance method and machine learning algorithms[J].Yaowu Liuxingbingxue Zazhi,2024, 33(9):961-970.DOI: 10.12173/j.issn.1005-0698.202408074.[Article in Chinese]

摘要| Abstract

目的  挖掘并分析艾司氯胺酮的不良事件信号,为临床安全用药提供参考。

方法  收集美国食品药品管理局(FDA)不良事件报告系统(FAERS)数据库中2019年第1季度—2023年第4季度的艾司氯胺酮不良事件报告数据,分别采用传统比例失衡法(报告比值比法、信息成分法)和机器学习算法[随机森林(RF)算法、K-近邻算法、极限梯度提升(XGBoost)算法]挖掘艾司氯胺酮不良事件信号,并通过曲线下面积(AUC)评估机器学习算法信号检测结果的准确性。

结果  共获得5 247条以艾司氯胺酮为首要怀疑药物的不良事件记录,采用传统比例失衡法共检测出138个阳性信号,其中抗胆碱能综合征、尿失禁、复视、肾盂肾炎、自发性气胸、胆道梗阻6个新的不良事件信号未被FDA药品说明书收录,并发现该药可能更容易引发心血管方面的问题。机器学习算法结果显示,XGBoost算法和RF算法性能相对较佳,AUC均值分别为0.928、0.921;共检测出复视、一般身体健康状况恶化、自杀意念、戒断综合征4种新的潜在不良事件信号。

结论  艾司氯胺酮在获得显著疗效的同时也伴随一些未知风险,临床中可能出现说明书中未提及的不良事件,医疗人员在应用其进行临床治疗时应对相关不良事件保持充分警惕,并及时采取措施保障治疗安全。

全文| Full-text

抑郁症是以情感低落、兴趣和愉悦感丧失、精力降低为核心症状群,伴有其他心理症状群和躯体症状群的一组精神障碍综合征[1-2]。尽管有多种抗抑郁药物和心理社会干预措施可供选择,但仍有一部分患者在标准治疗后无法达到临床缓解,这部分患者被归类为难治性抑郁症(treatment-resistant depression,TRD)[3]。如何有效预防和治疗该疾病,成为社会高度关注的热点问题。在药物治疗领域,抗TRD新兴药品艾司氯胺酮因起效快速且作用持久的优势备受关注 [4- 5],但其可能引起致幻、萌生自杀思维等药品不良事件(adverse drug event,ADE)[6],故评估其在真实世界中的安全性成为一个重要任务。

美国食品药品管理局(Food and Drug Administration,FDA)不良事件报告系统(FDA adverse event reporting system,FAERS)是用于收集和分析药物、生物制品以及其他医疗产品ADE报告的数据库。该系统旨在监测和评估上市后医疗产品的安全性,是药物警戒研究的重要基础。目前ADE信号检测方法较多采用报告比值比(reporting odds ratio,ROR)法和信息成分(information component,IC)法等基于ADE自发呈报数据的比例失衡法,数据挖掘方法较单一 [7- 11]。近几年已有文献[12-15]提出,机器学习算法相比传统的比例失衡法在ADE信号检测方面性能更佳,但尚未用于分析抗抑郁药物的安全性。因此,本研究拟基于FAERS数据库的数据,并行使用传统比例失衡法和随机森林(random forest,RF)算法、K-近邻(K-nearest neighbor,KNN)算法、极限梯度提升(extreme gradient boosting,XGBoost)3种机器学习算法,对艾司氯胺酮的ADE报告进行信号挖掘。通过联合方法,期望能够更全面地评估艾司氯胺酮的安全性,为临床安全使用该药提供参考。

1 资料与方法

1.1 数据来源

艾司氯胺酮于2019年3月5日获得FDA批准上市,故选取 FAERS 数据库2019年第1季度到 2023年第4季度报告的关于其安全性的数据,包含人口基线特征数据、药品使用相关信息、患者转归、ADE相关信息、有关报告的来源、药品治疗相关时间及适应证7个部分的数据,在数据库输入通用名“esketamine”进行检索。

1.2 数据清洗和整理

对于FAERS数据库中重复上报的数据进行去重处理,识别ADE报告中以报告日期(RERECDT)字段按时间先后排序的编号(CASEID),保留其最新一条记录并且删除同一病例重复报告的信息。另外,在对数据进行整理时选取ROLE_COD标签为“PS”(primary suspect drug,首要怀疑药物),得到目标药品艾司氯胺酮为PS的ADE记录。并参照人用药品注册技术国际协调会(International Conference on Harmonization,ICH)编制的《国际医学用语词典》(Medical Dictionary for Regulatory Activities,MedDRA)24.0版本中的首选术语(preferred term,PT)对ADE名称进行识别和标准化处理。

1.3 信号检测方法

联合使用传统比例失衡法(ROR法和IC法)和RF算法、KNN算法、XGBoost算法挖掘并分析目标药品的ADE信号。传统比例失衡法基于2×2列联表,计算简便、易于解释,可提供坚实基础,用于识别和确认已知或未知的ADE信号 [7];而机器学习算法可扩展分析能力,能够探索数据中的新信号和复杂模式,处理复杂的非线性关系 [16],从大量历史事件中学习规律。通过输入药物使用数据(用药剂量、频率等)、患者基线特征等变量,使之在大量呈报数据中训练,学习识别变量与ADE之间的关联。将FDA审核批准的艾司氯胺酮官方药品说明书(www.spravato.com)中的记载的ADE作为金标准进行训练,然后将FAERS数据库中出现但说明书未提及的ADE作为未知ADE,用机器学习算法进行预测,最终输出预测发生的ADE[17]。两者平行分析,互相补充,以提高信号检测的准确性和可靠性。统计分析采用R 4.3.3软件进行。

1.3.1 传统比例失衡法

采用比例失衡法中常用的ROR法和IC法,两者主要用于评估ADE与特定药品使用之间的关联强度,并认为当ADE报告数≥3,IC的95%置信区间下限值(IC025)>0且ROR的95%置信区间下限值(ROR025)>1时,该药品与特定ADE之间存在统计学关联,生成1个阳性信号 [18- 21]

1.3.2 RF算法

RF算法是包含多个决策树的分类器,每棵树对最终分类进行独立判定,其输出类别是由个别树输出类别的众数而定,以此进行分类和回归预测。RF算法的优势包括:①其通过组合多个模型的预测结果,从而具有极高的准确率;②可以很好地在大数据集中运行;③不需要降维处理具有高维特征的样本;④对于缺失值的问题,其也可以得到较好的结果。RF算法在处理复杂数据方面具有灵活性,因此不需要预先设置交互项 [22]。本研究中RF运行参数为:distance=1,kernel=“triangular”。

1.3.3 KNN算法

KNN算法是一类简单的机器学习算法,可用于分类和回归,是一种监督学习算法。其简单有效,训练迅速,不需要任何先验知识,也不需要在新数据中添加特定的分析函数。输入和输出之间的关系可通过足够数量的代表性样本数据得到,新的数据可直接加入到样本集中,而不需要重新训练[22]。本研究中KNN运行参数为:subset=fold_train,importance=TRUE。

1.3.4 XGBoost算法

XGBoost算法是基于Boosting框架的一个算法工具包(包括工程实现),在并行计算效率、缺失值处理、预测性能方面均较强。XGBoost算法的子模型树和决策树模型一样,要依赖节点递归分裂的贪心准则来实现树的生成。该算法使用损失函数二阶导数,加入正则项来控制模型的复杂度,能有效防止过拟合,采用RF算法中的做法,每次节点分裂前进行列随机采样,运用稀疏感知策略处理缺失值,使用列块设计能有效支持并行运算,提高效率,在多数场景中具有可伸缩性[22]。本研究中XGBoost运行参数为:objective=“binary:logistic”,nrounds=5 000,maxdepth=6,eta=0.01,colsample_bytree=1,subsample=1,min_child_weight=1,verbose=0。

1.3.5 K折交叉验证

交叉验证(cross validation,CV)是一种在统计学上将数据样本切割成较小子集的实用方法,该方法主要用于建模应用中[23]。通过将原始数据进行分组,一部分作为训练集,另一部分作为验证集,首先用训练集对分类器进行训练,再利用验证集测试训练得到的模型,以此作为评价分类器的性能指标。如此,将提取的数据集均分为5个子集,即5个折叠,以其中1个子集为测试集,剩余4个子集为训练集,每次选择不同的子集作为测试集,确保每个数据点都被测试一次,重复5次。如此,绘制出3种机器学习算法的受试者工作特征(receiver operating characteristic,ROC)曲线,以ROC曲线下面积(area under the curve,AUC)作为评估标准,AUC值越高表明模型性能越好,其运算结果越精准。ROC曲线X轴为特异度,Y轴为灵敏度。计算5次模型预测指标并取平均值。

2 结果

2.1 基线资料

在12 211 390条数据记录中获得5 247条艾司氯胺酮作为首要怀疑药物的ADE记录。在艾司氯胺酮为首要怀疑药物的ADE记录中,上报地区主要集中在美国,占83.72%。在ADE的转归方面,189例(3.60%)报告死亡,955例(18.20%)导致住院或延长住院时间,74例(1.41%)危及生命;其他严重ADE 1 707例(32.53%)。见表1

  • 表格1 艾司氯胺酮ADE报告基本信息
    Table 1. Basic information on esketamine adverse events reports
    注:同一病例ADE的转归可能有1种或1种以上结局。

2.2 传统信号挖掘结果

采用传统比例失衡法对436种ADE进行信号挖掘,涉及1 374份ADE报告。在上述判定阳性信号生成的条件下,检测出138个阳性信号,见表2。ROR法和IC法挖掘结果基本相似,报告数最多的前5位ADE分别为解离症、镇静、自杀意念、恶心和呕吐。其他严重的ADE信号主要包括可能由该药物引起的焦虑、头晕、高血压、幻觉、恐慌发作、疲倦等。同时,阳性信号中抗胆碱能综合征、尿失禁、复视、肾盂肾炎、自发性气胸、胆道梗阻未被艾司氯胺酮FDA说明书收录。

  • 表格2 艾司氯胺酮传统比例失衡法的阳性信号结果
    Table 2.Positive signal results of the conventional disproportional analysis for esketamine
    注:a说明书未收录的ADE;ADE报告数≥3,IC025>0且ROR025>1时,生成一个阳性信号。

2.3 机器学习算法测试及评估

KNN算法5折AUC值分别为0.740、0.815、0.740、0.321、0.543,均值为0.632;RF算法5折AUC值分别为0.903、0.963、0.928、0.918、0.893,均值为0.921;XGBoost算法5折AUC值分别为0.916、0.966、0.924、0.915、0.917,均值为0.928。XGBoost算法具有最高的AUC值,表明其性能稳定且高效。RF算法的性能也相对稳定,略低于XGBoost算法,而KNN算法的AUC值较低,故认为XGBoost算法和RF算法有较佳的综合预测性能,其运算出的结果具有较高准确性,见图1

  • 图1 3种机器学习算法的5折数据受试者特征曲线
    Figure 1. Receiver operating characteristic curves fold 5 for 3 machine learning methods learning methods

2.4 机器学习算法预测新的潜在ADE信号

XGBoost算法建立的机器学习算法检出艾司氯胺酮4个新的潜在ADE信号,分别是复视、一般身体健康状况恶化、自杀意念、戒断综合征;RF算法则预测出自杀意念这一新的ADE信号;KNN算法没有预测出新的ADE信号。

3 讨论

综合采用传统比例失衡法(ROR法和IC法)和机器学习算法(RF算法、KNN算法、XGBoost算法)对FAERS数据库中艾司氯胺酮的ADE信号进行挖掘与分析。

利用传统比例失衡法挖掘ADE信号,报告数最多的前5位ADE分别为解离症、镇静、自杀意念、恶心和呕吐。分析发现,这些受临床关注的ADE按照既定标准均生成了阳性信号,表明这些ADE与艾司氯胺酮的使用存在可疑的信号关联。发现抗胆碱能综合征、尿失禁、复视、肾盂肾炎、自发性气胸、胆道梗阻这6种新的ADE信号。其他可能引起死亡、残疾、住院、危及生命及其他严重的ADE信号主要包括焦虑、头晕、高血压、幻觉、恐慌发作、疲倦等。值得注意的是,恶心、疲倦、幻觉、高血压、心悸等临床表征与心血管方面的问题有直接或间接联系,提示可能需要对艾司氯胺酮的相关风险进行更深入的评估。由于目前上市的艾司氯胺酮的剂型为鼻腔喷雾剂,所以恶心报告数较多且检测出ADE信号,可能与特殊给药方式有关,临床应用中应当注意。

在XGBoost和RF算法下预测出复视、一般身体健康状况恶化、自杀意念、戒断综合征4种新的潜在ADE。其中,部分症状可能影响或与神经系统有关,如复视与大脑处理视觉信息的方式有关,自杀意念可能与情绪调节神经途径的紊乱有关;身体健康状况恶化、自杀意念和戒断综合征都可能与患者的心理状态有关,可能伴随焦虑、抑郁或其他心理健康问题。

通过FAERS数据库挖掘艾司氯胺酮的可疑ADE信号,采用了充足的样本量以尽可能确保实验结果的稳定性。传统比例失衡法依赖于2×2列联表评估药品与ADE之间的关联,在识别已知ADE方面表现出直接与高效,提供了一个清晰的已知信号基线。然而,由于对现有数据集的依赖和对明显信号的偏好,在新信号的识别能力方面受限,可能不足以捕捉数据中的新颖或微妙的信号[24]。相比之下,机器学习算法通过深入挖掘数据模式,预测出传统方法未能发现的新信号,表现出在探索潜在风险和揭示不明显关联方面的能力[25]。而对于确定新检测出的ADE信号是否为该药品的ADE、所得出的结论是否适用于FAERS数据库中的其他药品ADE数据或是其他数据库等问题,都有待后续研究进一步验证[26]。同时,虽然本研究所采用的机器学习算法对于缺失数据不敏感,但缺失数据的存在也可能对模型应用产生影响。

鉴于传统比例失衡法与机器学习算法的互补性,建议在药物安全监测中综合上述两种方法。传统比例失衡法可作为初步筛查工具,快速识别已知ADE,为药物安全评估提供基础信息。而机器学习算法则更适宜应用于探索新信号和复杂数据集时的进一步分析[10]。在临床实践中,医疗专业人员应关注传统方法检出的已知信号,并对机器学习算法预测的新信号保持警觉,对新信号开展进一步的临床观察和研究,以验证其与药物使用的关联性,并评估其对患者安全的潜在影响。

本研究尚存在不足之处:FAERS数据库的被动监测特性意味着其数据可能存在报告偏倚,这可能影响模型的预测准确性。由于ADE报告依赖于多种因素,包括医疗专业人员和患者的报告意愿及能力,这可能导致某些ADE的报告率低于实际情况,加之算法本身的局限性和研究的时间限制,挖掘出的可疑信号无法完全覆盖真实的所有情况。在未来的研究中可纳入世界卫生组织或日本自发呈报数据进行补充分析,以增强发现信号的普适性和可靠性,同时可能揭示新的或地区特有的ADE信号,从而为全球药品安全监管和临床决策提供更全面的视角。

综上所述,本研究基于FAERS数据库挖掘分析抗TRD新兴药品艾司氯胺酮的ADE,认识其安全性并发现9种新的ADE信号。相关临床表征反映了服用药品后造成的神经系统、心理或用药管理等方面问题,表明艾司氯胺酮在带来显著疗效的同时也伴随着一些未知风险,对于临床中可能出现的说明书中未提及的ADE,医疗人员在应用其进行临床治疗时应对相关ADE需保持充分警惕,及时采取措施保障患者的治疗安全。本研究所建立的RF算法和XGBoost算法在ADE信号检测方面性能尚佳。希望借此可以更好地寻找到药品可疑信号,为后续的进一步研究以及在今后的临床用药提供一定的指导价值。

参考文献| References

1. 金柳荫, 司璐佳, 徐文倩, 等. 难治性抑郁症的精神外科治疗新进展[J]. 临床精神医学杂志, 2024, 34(1): 68-70. [Jin LY, Si LJ, Xu WQ, et al. New advances in minimally invasive or noninvasive surgery for refractory depression[J]. Journal of Clinical Psychiatry, 2024, 34(1): 68-70.] DOI: 10.3969/j.issn.1005-3220.2024.01.019.

2. 郑秀艳, 唐诚霞, 刘肇瑞, 等. 首发和复发抑郁症患者临床特征比较[J]. 中国心理卫生杂志, 2024, 38(1): 25-32. [Zheng XY, Tang CX, Liu ZR, et al. Comparison of clinical characteristics between first-episode and relapse of major depressive disorder[J]. Chinese Mental Health Journal, 2024, 38(1): 23-32.] DOI: 10.3696/j.issn.1000- 6729.2024.01.004.

3. 徐蕊, 黄兴兵. 难治性抑郁症非药物治疗新进展[J]. 实用医学杂志, 2024, 40(4): 439-446. [Xu R, Huang XB. Progress of non-pharmacological treatments for treatment-resistant depression[J]. Journal of Practical Medicine, 2024, 40(4): 439-446.] DOI: 10.3969/j/issn.1006-5725. 2024.04.001.

4. 杨可, 彭永保. 艾司氯胺酮用于产后抑郁预防和治疗的研究进展[J]. 现代临床医学, 2024, 50(2): 113-116. [Yang K, Peng YB. Research progress of esketamine for prevention and treatment of postpartum depression[J].Journal of Modern Clinical Medicine, 2024, 50(2): 113-116.] DOI: 10.11851/j.issn.1673-1557.2024.02.009.

5. 刘瑞, 但伶. 艾司氯胺酮的临床研究进展[J]. 中国当代医药, 2023, 30(23): 28-32. [Liu R, Dan L. Clinical research progress of esketamine[J]. China Modern Medicine, 2023, 30(23): 28-32.] DOI: 10.3969/j.issn. 1674-4721.2023.23.007.

6. Jiang Y, Du Z, Shen Y, et al. The correlation of esketamine with specific adverse events: a deep dive into the FAERS database[J/OL]. Eur Arch Psychiatry Clin Neurosci, 1-9. [2023-12-16]. https://doi.org/10.1007/s00406-023-01732-5.

7. 任经天, 王胜锋, 侯永芳, 等. 常用药品不良反应信号检测方法介绍[J]. 中国药物警戒, 2011, 8(5): 294-298. [Ren JT, Wang SF, Hou YF, et al. Common signal detection methods of adverse drug reaction[J]. Chinese Journal of Pharmacovigilance, 2011, 8(5): 294-298.] DOI: 10.3969/j.issn.1672-8629.2011.05.013.

8. 陈友生, 缪健, 梁义敏, 等. 常用药品不良反应信号检测方法研究进展[J]. 中国药物依赖性杂志, 2014, 23(2): 89-92. [Chen YS, Miao J, Liang YM, et al. Research progress on signal detection methods of common adverse drug reactions[J]. Chinese Journal of Drug Dependence, 2014, 23(2): 89-92.] DOI: 10.13936/j.cnki.cjdd1992.2014.02.015.

9. 李苑雅, 张艳, 沈爱宗. 基于自发呈报系统药品不良反应信号检测方法的研究进展[J]. 安徽医药, 2015, 19(7): 1233-1236. [Li YY, Zhang Y, Shen AZ. Research progress in adverse drug reaction signal detection methods based on spontaneous reporting system[J]. Anhui Medical and Pharmaceutical Journal, 2015, 19(7): 1233-1236.] DOI: 10.3969/j.issn.1009-6469.2015.07.003.

10. 叶小飞. 上市后药品不良反应信号检测方法的进展与思考[J]. 海军军医大学学报, 2022, 43(2): 117-122. [Ye  XF. Progress and thinking of signal detection methodology on post-marketing adverse drug reaction surveillance[J]. Academic Journal of Naval Medical University, 2022, 43(2): 117-122.] DOI: 10.16781/j.CN31-2187/R.20211309.

11. 汤榕, 李林贵, 孙维红, 等. 药品不良反应报告常用信号检测方法应用研究[J]. 中国药房, 2012, 23(14): 1309-1311. [Tang R, Li LG, Sun WH, et al. Study on the application of common signal detection methods for adverse drug reaction reports[J]. China Pharmacy, 2012, 23(14): 1309-1311.] DOI: 10.6039/j.issn.1001-0408.2012.14.23.

12. Bae JH, Baek YH, Lee JE, et al. Machine learning for detection of safety signals from spontaneous reporting system data: example of nivolumab and docetaxel[J]. Front Pharmacol, 2020, 11: 602365. DOI: 10.3389/fphar.2020. 602365.

13. Jang MG, Cha S, Kim S, et al. Application of tree-based machine learning classification methods to detect  signals of fluoroquinolones using the Korea adverse event reporting system (KAERS) database[J]. Expert Opin Drug Saf, 2023, 22(7): 629-636. DOI: 10.1080/14740338.2023.2181341.

14. 张新佶, 张天一, 许金芳, 等. 随机森林倾向性评分方法及其在药品不良反应信号检测中的应用[J]. 中国卫生统计, 2016, 33(4): 578-581. [Zhang XJ, Zhang TY, Xu JF, et al. Random forest propensity scores method and its application in drug adverse reaction signal detection[J]. Chinese Journal of Health Statistics, 2016, 33(4): 578581.] DOI: CNKI:SUN:ZGWT.0.2016-04-007.

15. 郑轶, 罗枭, 张朋朋, 等. 基于主动监测系统的免疫检查点抑制剂心肌炎不良反应探索[J]. 中国药物警戒, 2023, 20(6): 634-638. [Zheng Y, Luo X, Zhang PP, et al. Adverse reactions of immune checkpoint inhibitor myocarditis based on active monitoring system[J]. Chinese Journal of Pharmacovigilance, 2023, 20(6): 634-638.] DOI: 10.19803/j.1672-8629.20230106.

16. 田永福, 魏雯静. 基于机器学习算法对STEMI患者院内及1年内心血管不良事件预测体系的研究 [J]. 宁夏医学杂志, 2024, 46(5): 444-447. [Tian YF, Wei WJ. Prediction system of in-hospital and 1-year cardiovascular adverse events in STEMI patients based on machine learning algorithm[J]. Ningxia Medical Journal, 2024, 46(5): 444-447.] DOI: 10.13621/j.1001-5949.2024.05.0444.

17. 陈枭, 郭晓晶, 许金芳, 等. 机器学习方法在FAERS布加替尼不良反应信号检测中的应用[J]. 中国药物警戒, 2023, 20(6): 639-645. [Chen X, Guo XJ, Xu JF, et al. Machine learning method in the detection of adverse drug reaction signals of brigatinib based on FAERS database[J].Chinese Journal of Pharmacovigilance, 2023, 20(6): 639-645.] DOI: 10.19803/j.1672-8629.20220645.

18. 陈亚昆, 门鹏, 王攀. 基于FAERS数据库的4种磷酸二酯酶5抑制剂安全性分析[J]. 中国药物警戒, 2023, 20(6): 691-696. [Chen YK, Men P, Wang P. Safety of four phosphodiesterase 5 inhibitors based on the FAERS database[J]. Chinese Journal of Pharmacovigilance, 2023, 20(6): 691-696.] DOI: 10.19803/j.1672-8629.20230073.

19. Zhai Y, Ye X, Hu F, et al. Cardiovascular toxicity of carfilzomib: the real-world evidence based on the adverse event reporting system database of the FDA, the United States[J]. Front Cardiovasc Med, 2021, 8: 735466. DOI: 10.3389/fcvm.2021.735466.

20. He Z, Lam K, Zhao W, et al. SGLT-2 inhibitors and euglycemic diabetic ketoacidosis/diabetic ketoacidosis in FAERS: a pharmacovigilance assessment[J]. Acta Diabetol, 2023, 60(3): 401-411. DOI: 10.1007/s00592-022-02015-6.

21. Gastaldon C, Schoretsanitis G, Arzenton E, et al. Withdrawal syndrome following discontinuation of 28 antidepressants: pharmacovigilance analysis of 31,688 reports from the WHO spontaneous reporting database[J]. Drug Saf, 2022, 45(12): 1539-1549. DOI: 10.1007/s40264-022-01246-4.

22. Candore G, Juhlin K, Manlik K, et al. Comparison of statistical signal detection methods within and across spontaneous reporting databases[J]. Drug Saf, 2015, 38(6): 577-587. DOI: 10.1007/s40264-015-0289-5.

23. Jung Y, Hu J. A K-fold averaging cross-validation procedure[J]. J Nonparametr Stat, 2015, 27(2): 167-179. DOI: 10.1080/10485252.2015.1010532.

24. 孙亚林, 李永昌, 杜文民, 等. 药物警戒中不相称性测定理论应用问题分析[J]. 药物流行病学杂志, 2009, 18(3): 147-150. [Sun YL, Li YC, Du  WM, et al. Analysis of application of disproportional measures in pharmacovigilance[J]. Chinese Journal of Pharmacoepidemiology, 2009, 18(3): 147-150.] DOI: 1005-0698(2009)03-0147-04.

25. 施昊旻, 燕速, 乔梦梦, 等. 基于机器学习算法的胃癌淋巴结转移预测模型研究[J]. 实用临床医药杂志, 2024, 28(1): 41-47. [Shi HM, Yan S, Qiao MM, et al. Research on gastric cancer lymph node metastasis prediction model based on machine learning algorithms[J].Journal of Clinical Medicine in Practice, 2024, 28(1): 41-47.] DOI: 10.7619/jcmp.20233076.

26. 范可欣, 朱鹏汇, 王云, 等. 基于机器学习算法建立胎母输血综合征预测模型[J]. 临床输血与检验, 2022, 24(4): 427-432. [Fan KX, Zhu PH, Wang Y, et al. The prediction model of fetomaternal hemorrhage was established on machine learning algorithm[J]. Journal of Clinical Transfusion and Laboratory Medicine, 2022, 24(4): 427-432.] DOI: 10.3969/j.issn.1671-2587.2022.04.004.