描述：1、详细的网络结构为： （1）将Bert输出的CLS位置向量与最后一层所有向量的平均池化向量相结合（Concat），作为最终模型输出向量 （2）将模型最终向量进行 softmax 计算概率 （3）将计算后的概率和真实标签计算交叉熵损失 2、合理性 在NLP文本分类场景，主流方案依然是 BERT 网络。基于BERT网络优化出各种变种，如Nezha，Roberta ，ERNIE 等等，本赛题对比之后，采用了效果最好的Nezha 模型。 3、落地 经过前面提到的模型蒸馏以及伪标签，可以将多折的大模型，输出为单个推理模型，且模型大小不超过2G。由于比赛性质，采用了伪标签方案，实际工业落地，可以使用模型蒸馏方案效果会更好。

描述：1、数据分析 （1）数据拼接重构样本：通过拼接的方式重新构建样本：使用name和content通过'[SEP]'拼接的方式构建样本。 尝试用unused1、unused2等替换脱敏字段 （2）对偶文本数据增强以及EDA 2、算法阶段 （1）multidrop 通过multidrop的方式提高模型鲁棒性 （2）孪生式对偶增强（SDE） 增加对偶数据间交互 更好学习AB句语义关系 效果优于普通的对偶增强 3、预训练阶段 数据增强：EDA + 数据对偶，提升2.5k 由于数据中存在脱敏数据，预训练100epoch，提升 3个百分点 unigram比bigram好2-3k FP16训练速度更快 4、Finetune阶段 multiDrop多个logits平均，提高模型鲁棒性，提升2k CosineAnnealingWarmRestarts动态调整学习率 ，分层设置学习率使学习更加合理，学习率调整为5e-5，提升1百 5、训练优化

描述：总结：从预训练、对比学习、微调、进行策略改进创新，输出了一个端到端解决方案，较好的解决了网格事件分类任务。 优点：效果好、泛化性强 缺点：多折交叉验证推理耗时较多，可采用分布式等并行手段节省耗时 展望：事件分类广泛应用于对话系统，舆情监控系统等领域，本方案可通过TensorRT结合onnx实现高效推理后用于实际生产环境。

描述：1、方案: 预训练 + 微调 使用五折交叉融合。具体为将数据分为五折，使用4折数据训练，剩余1折数据验证，选取每一折最优模型。预测时将每折结果进行概率平均。 训练过程中使用交叉熵损失函数，学习率设置为2e-5，权重衰减设置为1e-5，句子截断长度为256。 2、有效的策略:FGM对抗训练、K-fold训练、预训练

描述：1、算法设计与构架 算法设计简单，通过MLM对赛题文本进行学习对开源的预训练模型再次预训练之后通过简单的变换就输出预测结果 2、合理性与落地 通过MLM模型更好的学习到文本信息，对文本进行区分 只有一个模型，且大小在2GB之内，所以落地简单，运维成本低。 3、其他 对不平衡的label分布进行特别的优化，在标签分布不均匀的情况下仍然预测较为准确。

描述：1、数据处理 典型的文本分类任务、无监督模型的继续预训练、直接拼接名称和内容 2、数据建模 大量的无监督数据是语言模型的前提、继续领域内预训练能让成绩进一步提升 3、核心技术 bert的继续预训练、人为attention标题 4、技术优势 单模型 -> 时间复杂度低 -> 部署简单 5、创新性 该解决方案并没有选取多个模型，而是在领域内继续预训练+模型分类，优势在于没有过多且繁琐的处理流程，部署简单，方案稳定性高。