 | 龚经经 |
上海创智学院全职导师 上海创智学院研究助理教授 | |
领域方向：大模型与算法 | |
基于深度学习对上下文感知的词语表示学习以及词语表示的聚合方法开展了五项研究工作，前三项内容主要针对词的上下文相关表示学习： 1. 提出并采用Switch-LSTM模型处理面向多任务的词表示学习，并且在多标准分词任务中取得优异的效果。2. 通过对注意力机制的分析，提出卷积交互网络进行面向双句文本的词表示学习，并且在自然语言推理以及据对匹配任务上取得了优异效果。3. 通过对现有的Transformer模型加入局部卷积模块对现有多头注意力机制的改进工作。后两项工作主要针对目前已有聚合方法中存在的词表示之间交互性低的缺点探索了两种高交互性的序列词表示聚合方法，并且分别提出了基于动态路由的交互式聚合方法以及基于特征中心性度量的聚合方法。 | |
