贡献

创新点

用的实体链接，在原生预训练模型的两层之间加入实体链接层，把实体在KG中相关的entity embedding加到下一层的预训练模型