CoLaDa: A Collaborative Label Denoising Framework for Cross-lingual Named Entity Recognition
本文代码：vert-papers/papers/CoLaDa at master · microsoft/vert-papers (github.com)
常见名词
| 英文名 | 中文名 | 具体释义 |
|---|
| Cross-lingual named entity(NER) | 跨语言命名实体识别 | |
| knowledge distillation | 知识蒸馏 | 轻量化小模型，达到更高的精度和性能，是迁移学习的一种特殊实现 |
| Collaborative Label Denoising Framework | 协同标签去噪框架 | 本文提出的命名实体识别新方法 |
相关知识
knowledge distillation
一分钟带你认识深度学习中的知识蒸馏 - 知乎 (zhihu.com)
在训练集上构建teacher模型，然后对student模型进行监督训练：
- 离线蒸馏：两个模型的训练过程分离，teacher模型的精度要远高于student模型的训练精度，这里的teacher模型只起到了监督惩罚的作用；
- 半监督蒸馏：对部分未标记的数据通过teacher模型进行预测标记，作为student的训练数据提升精度；
- 自监督蒸馏：每个epoch训练过程中都以历史数据进行蒸馏；
本文介绍了传统模型中利用知识蒸馏为student模型提供数据，缓解稀缺问题。在产生伪标签作为新模型的输入时，往往会加入一些噪音，因此本文提出了新的去噪框架。
Abstract
跨语言命名实体识别过去的工作关注于使用已标记的数据或者通过teacher模型预测得到的伪标签数据进行student模型的训练。伪标签存在一些噪音，会对蒸馏后的模型精度产生影响，因此本文提出了一种协同标签去噪框架，利用标签在邻域中的一致性进行计算，在多个数据集上效果较好。
Introduction