无障碍通道
返回主站
搜索
网格事件智能分类
收藏
最后更新:2022-10-09 11:03:32
应用简介
1、数据分析 (1)数据拼接重构样本:通过拼接的方式重新构建样本:使用name和content通过'[SEP]'拼接的方式构建样本。 尝试用unused1、unused2等替换脱敏字段 (2)对偶文本数据增强以及EDA 2、算法阶段 (1)multidrop 通过multidrop的方式提高模型鲁棒性 (2)孪生式对偶增强(SDE) 增加对偶数据间交互 更好学习AB句语义关系 效果优于普通的对偶增强 3、预训练阶段 数据增强:EDA + 数据对偶,提升2.5k 由于数据中存在脱敏数据,预训练100epoch,提升 3个百分点 unigram比bigram好2-3k FP16训练速度更快 4、Finetune阶段 multiDrop多个logits平均,提高模型鲁棒性,提升2k CosineAnnealingWarmRestarts动态调整学习率 ,分层设置学习率使学习更加合理,学习率调整为5e-5,提升1百 5、训练优化
创建时间: 2022-10-09 11:03:32
发布者类型: 企业
发布者: 山东数据交易有限公司
所属领域: 综合政务
访问量: 15,666次
使用数据
序号 资源名称 提供部门 关联时间
1 定向数据_数创大赛_网格事件智能分类 东营市大数据中心 2022-10-09 11:03:32
用户评论
历史评论 (0)
我要评分
点击星星进行评分