神经机器翻译Transformer模型的位置编码方法、系统和电子设备

  • 国民经济行业:信息传输、软件和信息技术服务业/软件和信息技术服务业/软件开发
  • 学科类别:计算机科学技术/人工智能/自然语言处理
  • 权利人:上海交通大学

知识产权简介

循环位置编码:将模型的输入表示(input representation)分为两部分,一部分是单词嵌入和三角函数位置编码组成的原始表示,一部分是经过循环神经网络获得词的循环位置编码信息。这两部分表示合并构成了模型的输入表示。 旋转位置编码:通过复数变换,将相对位置信息依赖集成到自注意力层中,能够提升Transformer模型架构性能的位置编码方式。

基本信息

权利人 上海交通大学
知识产权类型 专利
意向合作模式
预估金额
联系合作