复旦大学拟对计算与智能创新学院邱锡鹏老师课题组在研期间所获十七项专利权及专利申请权进行转让，现进行公示，公示信息如下：

专利名称1：一种基于序列生成的细粒度情感分析方法

专利号：202110592818.7

专利申请人：复旦大学

发明人：邱锡鹏; 代俊奇

简介：本发明提供一种基于序列生成的细粒度情感分析方法，包括：步骤1，将主观性商品评价或服务评价作为输入序列输入编码器进行编码，得到隐变量He；步骤2，采用索引词汇转换器模块将过去时刻的已输出索引序列Y＜t转换为已输出文本序列步骤3，将隐变量He以及已输出文本序列输入解码器进行解码，得到当前时刻t的输出分布Pt；步骤4，将输出分布Pt输入索引生成器，生成当前时刻输出索引，并采用束搜索方法自回归生成输出序列。本发明将整体细粒度情感分析任务统一定义为索引序列生成任务。基于统一的任务类型，利用序列到序列的生成式框架，使得各种差异导致的问题在统一的框架内得到解决，为完成整体细粒度情感分析提供了全新的系统性解决方法。

 

专利名称2：一种基于序列到序列架构的命名实体识别方法

专利号：202110608812.4

专利申请人：复旦大学

发明人：邱锡鹏; 颜航

简介：本发明涉及识别技术领域，提供了一种基于序列到序列架构的命名实体识别方法，由于构件的命名实体识别模型包括编码器和解码器，解码器的输出为命名实体位置和文本标签，通过预设样本对命名实体识别模型进行训练后，将待测文本输入命名实体识别模型，得到识别结果序列，对命名实体识别模型输出的识别结果序列进行解码，得到多个命名实体以及每个命名实体所对应的文本标签，因此，本发明在不同场景的命名实体识别中不再需要针对不同命名实体设计不同的标签，能够使用完全一样的模型来解决不同场景的命名实体识别任务，设计简单，应用场景广泛。

 

专利名称3：基于有监督对比学习与回复生成辅助的对话情感识别方法

专利号：202111444136.8

专利申请人：复旦大学

发明人：邱锡鹏; 李世民; 周雅倩

简介：本发明提供一种基于有监督对比学习与回复生成辅助的对话情感识别方法，首先，由于构建的预训练模型CoG‑BART，采用对话级Transformer模块对待测对话进行上下文建模，从而解决了话语之间的长距离依赖问题，同时由于整体模型架构均由Transformer组成，因此引入了更少的结构先验假设；其次，由于采用了有监督对比学习来训练模型，在充分利用标签信息的情况下，不仅能够增加模型训练时的稳定性并增强模型的泛化性，还使得相同情感的样本间内聚，不同情感的样本相互斥，因此改进了相似情感难以区分的问题；最后，由于辅助性回复生成任务能够根据给定的上文信息获取更准确的下文，从而使得模型在判断话语情感时能考虑更加丰富的上下文信息，提升模型识别对话的情感标签的精确性。

 

专利名称4：一种基于集成学习的神经网络动态早退方法

专利号：202110430015.1

专利申请人：复旦大学

发明人：邱锡鹏; 孙天祥

简介：本发明提供一种基于集成学习的神经网络动态早退方法，包括：步骤1，采用相关性损失和多样性损失之和训练多层神经网络及其内部分类器，得到训练好的神经网络和训练好的内部分类器；步骤2，将待处理的数据输入训练好的神经网络，在训练好的神经网络的第一层，计算第一个训练好的内部分类器对数据分类的中间预测结果，得到各个类别的投票数；步骤3，将中间预测结果中的最大票数与预先设定的阈值进行比较，当最大票数大于阈值时，则将最大票数的类别作为最终预测结果，同时从训练好的神经网络退出，反之，则进入训练好的下一层神经网络，通过下一个内部分类器进行投票，直至新的中间预测结果的最大值大于阈值，则退出。

 

专利名称5：一种基于子词编码和逆文档频率遮蔽的中文预训练方法

专利号：202110480038.3

专利申请人：复旦大学

发明人：邱锡鹏; 邵云帆

简介：本发明提供了一种基于子词编码和逆文档频率遮蔽的中文预训练方法，用于中文语言模型的预训练，包括以下步骤：步骤1，收集中文语料，根据语料通过迭代算法学习一元语言模型，得到词典和出现概率；步骤2，基于一元语言模型对中文语言模型的输入文本进行子词编码，得到子词元素序列；步骤3，计算子词元素序列中每个子词元素的逆文档频率；步骤4，通过逆文档频率遮蔽预测任务来进行预训练，将逆文档频率最高的子词元素进行遮蔽，中文语言模型通过对被遮蔽的子词元素进行预测来进行预训练；步骤5，将语料输入中文语言模型，经过子词编码和计算逆文档频率后通过逆文档频率遮蔽预测任务进行预训练，在计算训练后得到训练好的中文语言模型。

 

专利名称6：一种基于神经网络早退机制的序列标注加速方法

专利号：202110480011.4

专利申请人：复旦大学

发明人：邱锡鹏; 李孝男

简介：本发明提供了一种基于神经网络早退机制的序列标注加速方法，用于判断预训练语言模型在进行序列标注任务时是否进行早退，包括以下步骤：对于L层的预训练语言模型，在每一层之后都添加一个内部分类器，在进行序列标注任务时，通过句子级别的序列标注早退机制或词级别的序列标注早退机制来判断预训练语言模型是否进行早退。本发明的一种基于神经网络早退机制的序列标注加速方法能够应用于在自然语言处理中较为基础的序列标注任务，在加速3‑4倍的同时只给模型带来微小的性能损失。

 

专利名称7：一种基于集成重建机制的对抗样本攻击的防御方法

专利号：202110591329.X

专利申请人：复旦大学

发明人：邱锡鹏; 李林阳

简介：本发明提供了一种基于集成重建机制的对抗样本攻击的防御方法，用于语言模型防御对抗样本攻击，包括以下步骤：步骤1，在语言模型的训练过程中，同时加入三个预定的损失函数来保持语言模型对于带噪声样本的重建能力；步骤2，对语言模型的输入样本注入不同的噪声，重建得到多个不同的重建样本，并对重建样本进行集成推理完成一次样本重建，并得到一个取平均值的模型置信度的打分，通过多次样本重建来防御对抗样本攻击，其中，损失函数包括模型下游任务的微调损失函数、预训练采用的MASK掩码预测损失以及基于梯度回传的重建原有字词的损失。

 

专利名称8：一种基于对比学习区分对话摘要与对话者的方法

专利号：202111476754.0

专利申请人：复旦大学

发明人：邱锡鹏; 耿志超; 周雅倩

简介：本发明提供一种基于对比学习区分对话摘要与对话者的方法，其特征在于，首先基于BART构建增强序列到序列的神经网络模型，该神经网络模型的编码器‑解码器能够对对话进行编码解码；然后基于训练时生成的训练用对话摘要与目标摘要的交叉熵损失以及采用三种对比学习任务辅助神经网络模型对训练用对话进行对话编码时的对比学习损失，对该神经网络模型进行训练直至生成能够根据对话者来区分对话从而生成摘要的对话者区分模型；由于采用了三种对比学习任务来辅助编码器进行对话编码，因此使得本发明的模型能够更好地理解对话数据，令生成摘要取得了更高的准确率，避免了事实一致性错误。

 

专利名称9：基于不确定成分的中文命名实体识别检索增强框架

专利号：202210147274.8

专利申请人：复旦大学

发明人：邱锡鹏; 耿志; 颜航

简介：本发明提供一种基于不确定成分的中文命名实体识别检索增强框架，由于包括命名实体识别模型，能够对输入的中文序列进行不确定成分采样，并基于采样得到的实体集不确定成分进行检索，因此相较于传统的依赖于词典的方法，能够有效地检索得到所需的知识序列，且无需花费高昂的代价进行高质量词典的构建以及动态维护，节省了大量算力，进一步，由于包括知识融合模型，能够基于检索得到的知识序列进行中文命名实体的识别预测，因此能够通过知识序列消除识别过程中的歧义，得到更为准确的预测结果，且相较于传统的采用遍历策略进行检测的方法，效率更高。综上所述，通过本发明的增强框架，能高效地得到准确的中文命名实体识别结果，且能节省大量算力。

 

专利名称10：基于对比学习的文本摘要框架构建方法

专利号：202210163630.5

专利申请人：复旦大学

发明人：邱锡鹏; 安晨鑫

简介：本发明提供一种基于对比学习的文本摘要框架构建方法，由于评价指标优化是一个不可直接优化的目标，因此，本发明的方法使用基于正负样本的对比学习来让文本摘要模型学习区分高质量与低质量的样本，从而使得生成的文本摘要与原文相符且通顺流畅，本发明的方法适用于抽取式以及生成式的自动文本摘要，该方法是端到端的，几乎不影响最终的解码速度，因此，构建出的是高效且统一的文本摘要框架。

 

专利名称11：一种基于标签平滑的多跳回答问题框架

专利号：202211232474.X

专利申请人：复旦大学

发明人：邱锡鹏; 汪燠欣; 印张悦; 吴驿光

简介：本发明目的在于提供一种基于标签平滑的多跳回答问题框架，用于缓解模型的过分自信以及答案边界的不确定问题。本发明提供了一种基于标签平滑的多跳回答问题框架，包括：步骤S1，输入问题和候选文章列表粗筛得到3篇待选文章；步骤S2，通过对3篇待选文章两两分组的方式组成3个配对，再一次通过细筛的方式选择最优配对；步骤S3，将选出的最优配对的两篇文章以及问题一起输入模型，通过预训练语言模型回答问题。

 

专利名称12：基于对比隐变量和风格前缀的混合对话方法

专利号：202211563725.2

专利申请人：复旦大学

发明人：邱锡鹏; 李世民; 周雅倩

简介：本发明提供了一种基于对比隐变量和风格前缀的混合对话方法，具有这样的特征，以变分编解码器VED作为基础架构，以编码器‑解码器架构的预训练模型T5作为主干模型，构建得到混合对话模型Hy‑Dialog，包括：根据训练数据中的所有历史用户输入和历史系统回复基于整体训练损失训练混合对话模型Hy‑Dialog；将多轮对话中用户的所有历史用户输入和混合对话模型Hy‑Dialog的的所有历史系统回复，输入训练完成的混合对话模型Hy‑Dialog中，获得系统回复。总之，本方法在有无显式文本风格标签的情况下都能够很好地进行不同风格的回复生成。

 

专利名称13：面向大语言模型逐步推理与检索的强化学习方法及系统

专利号：202510827024.2

专利申请人：复旦大学

发明人：邱锡鹏；李源

简介：该发明提供面向大语言模型逐步推理与检索的强化学习方法及系统，用于优化大语言模型的推理和检索策略，以提高问题解答能力与事实准确性，具有这样的特征，具体包括如下步骤：S1：冷启动步骤，通过大语言模型LLM 与检索器生成推理-检索-答案轨迹，并经由监督策略对LLM 进行数据筛选和监督微调，获得具备初步推理-检索能力的模型；S2：强化学习步骤，设置多粒度奖励信号以及调节因子，并使用算法对模型进行强化训练，指导模型优化其推理-检索策略；S3：交互学习步骤，在模型中设置Web Agent 插件，用以使模型获取互联网信息，并设置记忆管理机制，将模型获取的信息储存为图中的节点与边，减小信息中的冗余与重复信息。

 

专利名称14：一种基于世界建模优化具身规划的双重偏好优化方法及系统

专利号：202510871573.X

专利申请人：复旦大学

发明人：邱锡鹏；王思尹；费朝烨；程沁源；张世铎；蔡盼盼；傅金兰

简介：该发明提供了一种基于世界建模优化具身规划的双重偏好优化方法及系统，具体包括如下步骤：S1，通过树搜索机制在模拟环境中进行逐步探索，自动生成多模态具身轨迹和偏好数据，逐步构建动作选择和状态预测的偏好对；S2，基于动作选择和状态预测的偏好对，使用双重偏好优化框架，联合优化状态预测和动作选择来增强模型具身规划能力。本发明引入了一种树搜索机制，通过具身智能体在仿真环境中逐步探索自动收集轨迹和逐步偏好数据，无需人工标注，本发明在多个评估设置中显著优于现有方法，并在任务成功率和规划效率上取得了显著提升。本发明通过世界建模增强了模型的规划能力，使其能够更好地适应动态环境中的任务需求。

 

专利名称15：基于多模态树搜索的大型视觉-语言模型推理方法

专利号：202510527928.3

专利申请人：复旦大学

发明人：邱锡鹏；王艺坤

简介：该发明提供一种基于多模态树搜索的大型视觉‑语言模型推理方法，通过辅助工具调用生成了多步的多模态辅助信息，结合预测展开树搜索机制对目标任务的候选推理路径进行了模拟评估，并通过自投票选择最优路径，因此通过视觉‑文本交织推理框架和测试时扩展策略，充分利用了视觉和文字信息，显著提升了大型视觉‑语言模型在复杂多步推理任务中的推理能力，能够得到更为准确的推理结果，并且无需模型微调，因此能够更为快速地得到推理结果，使得本发明的方案具有很好的实际应用价值。

 

专利名称16：可变内存环境下细粒度尺寸控制的大型语言模型压缩方法

专利号：202510043329.4

专利申请人：复旦大学

发明人：邱锡鹏；王星皓

简介：该发明提供一种可变内存环境下细料度尺寸控制的大型语言模型压缩方法，包括计算激活值感知的权重矩阵的步骤、对其激活值感知的权重矩阵的绝对值矩阵进行迭代分解的步骤、对迭代分解出的多个残差数据块进行重要性评估和排序的步骤、以及根据可用内容容量的变化以及重要性排序动态加载残差数据块以构成不同压缩模型的步骤。通过这样的方法，能够使得压缩模型很好地适应可变内存环境，从而能够在本地设备中部署模型，并且由于优先加载重要性更高的残差数据块，因此压缩模型仍具有与原大型语言模型接近的优秀性能，即使是在极端压缩比的情况下也是如此，因此压缩模型也无需再经过训练，使得模型在本地设备中的部署更为方便和高效。

 

专利名称17：使用人工智能反馈的句子表示对比学习方法

专利号：202310709647.0

专利申请人：复旦大学

发明人：邱锡鹏；程沁源；杨小珪；孙天祥；李林阳

简介：本发明提供了一种使用人工智能反馈的句子表示对比学习方法，用于根据待识别句子得到对应的句子表示，具有这样的特征，包括以下步骤：步骤S1，根据大语言模型LLMs和现有数据构建训练集；步骤S2，根据训练集训练现有的语言模型，并根据损失函数更新语言模型，将训练完成的语言模型作为句子编码器；步骤S3，将待识别句子输入句子编码器，得到对应的句子表示。总之，本方法能够生成高质量的句子表示。

 

拟转化价格：1750万元 （首付款200万元 + 分期付款1550万元）

拟受让单位：上海模思智能科技有限公司

定价方式：以上专利权及专利申请权由银信资产评估有限公司进行评估，评估价为190万元人民币（含税价）。最终转化价格1750万元人民币。

公示期限：自2025年8月28日至2025年9月11日止

公示期内对公示内容有异议的，以书面形式向科学技术研究院提出，需写出具体、真实的情况，以实名提出异议，不能匿名。科研院自接到异议之日起10个工作日内重新调查核实，并将核查结果报校长办公会议审批。

 

联系人：杨铭

联系电话：31243728

联系邮箱：ming_yang@fudan.edu.cn

     科研院技术转移中心

 2025年8月28日