首页 专利转让大厅 发明专利 基于知识蒸馏的多层神经网络语言模型训练方法与装置

基于知识蒸馏的多层神经网络语言模型训练方法与装置

公告号:
CN111611377A
价格:
面议
专利类型:
发明专利
专利状态:
授权
申请日:
2020-04-22
公告日:
2020-09-01
发明人:
高尚兵; 李文婷; 李伟; 王通阳; 姚宁波; 周泓; 朱全银; 相林; 于坤; 陈晓兵; 张正伟
申请人:
淮阴工学院
专利权人:
淮阴工学院
当前专利权人:
淮阴工学院
ICP分类号:
G06F16/35; G06F40/289; G06F40/30; G06F40/211; G06N3/04; G06N3/08; G06N5/02
法律状态:
有效专利
摘要
本发明公开了一种基于知识蒸馏的多层神经网络语言模型训练方法与装置,该方法首先构建BERT语言模型和多层BILSTM模型作为教师模型和学生模型,其中所构建的BERT语言模型中有六层transformer,多层BILSTM模型中有三层BILSTM网络;然后将文本语料集进行预处理后,对BERT语言模型进行训练得到训练好的教师模型;再基于知识蒸馏技术将预处理后的文本语料集输入到多层BILSTM模型训练学生模型,在学习教师模型中的嵌入层、隐藏层以及输出层之时,通过线性变换将不同空间表示进行计算。基于训练好的学生模型,可将文本进行向量转换,进而训练下游网络更好地进行文本分类。本发明可以有效提升文本预训练效率以及文本分类任务的精确度。
交易流程
1
第一步 提交专利信息

卖方将专利信息按提示填写在医专宝小程序的转让栏里,信息越详细越好,包括专利类型,下证时间,适用科室,个人信息,专利详情等,填写完成后点击提交。

2
第二步 进行专利匹配

医专宝的后台工作人员根据平台数据库进行检索,查找合适的专利,得到卖方的专利代理委托书,与买方取得联系,商讨专利交易内容。

3
第三步 买卖双方对接

工作人员搭建平台,买卖双方对专利信息进行商讨和最终决定。买方将专利价格的20%支付到平台。

4
第四步 签署协议

双方签署专利转让协议,并签字或盖章。平台将前期资金转给卖方。

5
第五步 平台操作转让

平台工作人员登记信息,做专利发明人变更声明,并将合同副件邮寄给双方当事人。

6
第六步 支付尾款

买方收到合同后,确认信息无误,与卖方沟通好付尾款时间,将钱支付到医专宝平台。

7
第七步 交付证书

平台将专利邮寄给买方,并将买方支付的专利购买尾款转给卖方,交易完成。

过户材料

企业/个人只需提供基础材料即可

企业/个人需提供

企业需提供:企业营业执照、专利证书原件;
个人需提供:身份证、专利证书原件

平台方提供

专利代理委托书、专利权转让协议、办理文件副本请求书、发明人变更声明