体育游戏app平台现任中科院汇集数据科学与技巧重心实践室常务副主任-欢迎访问开云官网登录入口kaiyun官网

栏目分类

热点资讯

体育游戏app平台现任中科院汇集数据科学与技巧重心实践室常务副主任-欢迎访问开云官网登录入口kaiyun官网

发布日期：2025-12-19 10:06 点击次数：200

刚刚体育游戏app平台，EMNLP 2024最好论文奖崭新出炉！

5 篇中榜论文中，华东说念主学者参与三篇，诀别来自 CMU、上海交通大学、中国科学院大学等机构。

其中，Pretraining Data Detection for Large Language Models: A Divergence-based Calibration Method主要由中科院汇集数据科学与技巧重心实践、中国科学院大学的学者完成。

论文一作 Weichao Zhang；通信作者郭嘉丰，现任中科院汇集数据科学与技巧重心实践室常务副主任。

这项研究淡薄了一个新的数据集和神情，用于检测给定文本是否为 LLM 预测验数据的一部分，有助于提高 LLM 测验数据透明度。

EMNLP ’ 24 本年收录论文悉数2978 篇，比前年增长 5%，其中 2455 篇主会论说文，523 篇 workshop 论文。

除最好论文外，隆起论文也揭晓了，超半数华东说念主学者参与。

趁便提一嘴，EMNLP 2025 将于来岁 11 月 5-9 日，在中国苏州举办！

国内学者们不错搓搓手准备起来了 ~

接下来，具体康康获奖论文有哪些～

上交大 CMU 等团队获最好论文

这次共有 5 项研究后果取得 EMNLP ’ 24 最好论文奖。

1、An image speaks a thousand words, but can everyone listen? On image transcreation for cultural relevance

（图像能抒发口若悬河，但每个东说念主都能倾听吗？对于图像再创造的文化联系性）

这篇来自 CMU 的论文研究了图像跨文化再创作任务。鉴于多媒体骨子兴起，翻译需涵盖图像等模态，传统翻译局限于处理语音和文本中的谈话，跨文化再创作应时而生。

作者构建了三个包含 SOTA 生成模子的管说念：e2e-instruct 径直剪辑图像，cap-edit 通过字幕和 LLM 剪辑后处理图像，cap-retrieve 应用剪辑后的字幕检索图像，还创建了见识和应用两部分评估数据集。

按捺发现，刻下图像剪辑模子均未能完成这项任务，但不错通过在轮回中应用 LLM 和检索器来变调。

2、Towards Robust Speech Representation Learning for Thousands of Languages

（为数千种谈话终了肃穆的语音表征学习）

这篇来自CMU、上海交大、丰田工业大学芝加哥分校的论文，先容了一种名为 XEUS 的跨谈话通用语音编码器，旨在处理多种谈话和声学环境下的语音。

研究通过整合现存数据集和新采集的数据，构建了包含 4057 种谈话、超 100 万小时数据的预测验语料库，并淡薄新的自监督任务（声学去混响）增强模子鲁棒性。研究按捺自满，XEUS 在多个下流任务中推崇优异，在 ML-SUPERB 基准测试中很是了其他模子，如在多谈话自动语音识别任务中终了 SOTA，且在语音翻译、语音合成等任务中也推崇出色。

该团队超半数都是华东说念主，其中一作William Chen现在是 CMU 谈话技巧研究所的硕士生，此前取得佛罗里达大学蓄意机科学和历史学学士学位。

3、Backward Lens: Projecting Language Model Gradients into the Vocabulary Space

（逆向透镜：将谈话模子梯度投射到词汇空间）

了解基于 Transformer 的谈话模子怎么学习和调用信息成为行业一个重要指标。最近的可解释性神情将前向传递取得的权重和闪避气象投射到模子的词汇表中，有助于揭示信息如安在谈话模子中流动。

来自以色列理工学院、特拉维夫大学的研究东说念主员将这一神情推广到谈话模子的后向传递和梯度。

当先阐发，梯度矩阵不错被视为前向传递和后向传递输入的低秩线性组合。然后，成立了将这些梯度投射到词汇表情中的神情，并探索了新信息怎么存储在谈话模子神经元中的机制。

4、Pretraining Data Detection for Large Language Models: A Divergence-based Calibration Method

（大谈话模子的预测验数据检测：基于散度的校准神情）

这篇论文作者来自中科院汇集数据科学与技巧重心实践、中国科学院大学、中关村实践室、阿姆斯特丹大学。

通信作者郭嘉丰，现为中国科学院蓄意技巧研究所研究员、中国科学院大学涵养、北京东说念主工智能研究院研究员，中科院汇集数据科学与技巧重心实践室主任。现在研究想法是信息检索 ( Neural IR ) 和当然谈话交融的神经模子。

他们的研究旨在惩办大谈话模子预测验数据检测问题，因模子成立者不肯败露测验数据细节，现存神情在判断文本是否为测验数据时存在局限。

基于这么的原因，他们淡薄 DC-PDD 神情，通过蓄意文本的词元概率散播与词元频率散播的交叉熵（即散度）来校准词元概率，从而判断文本是否在模子预测验数据中。实践在 WikiMIA、BookMIA 和新构建的华文基准 PatentMIA 上进行，按捺自满 DC-PDD 在大批情况下优于基线神情，在不同模子和数据上推崇更壮健。

5、CoGen: Learning from Feedback with Coupled Comprehension and Generation

（CoGen，联结交融和生成，从响应中学习）

来自康奈尔大学的研究团队研究了谈话交融和生成才能的耦合，淡薄在与用户交互中联结两者以栽培性能的神情。

具体通过参考游戏场景，部署模子与东说念主类交互，采集响应信号用于测验。采用王人集推理和数据分享战略，如将交融数据点出动为生成数据点。

实践按捺自满，耦合神情使模子性能大幅栽培，交融准确率提高 19.48%，生成准确率提高 26.07%，且数据效力更高。在谈话方面，耦合系统的灵验词汇增多，与东说念主类谈话更相似，词汇漂移减少。

隆起论文

再来望望隆起论文的获奖情况，这次共有 20 篇论文上榜。

GoldCoin: Grounding Large Language Models in Privacy Laws via Contextual Integrity Theory，香港科技大学研究团队完成，论文共归并作 Wei Fan、Haoran Li。

团队淡薄了一个新框架，基于情境完满性表面来诊治大谈话模子使其妥当诡秘法律，提高其在不轸恤境下检测诡秘风险的才能。

Formality is Favored: Unraveling the Learning Preferences of Large Language Models on Data with Conflicting Knowledge，南京大学团队完成，论文共归并作 Jiahuan Li、Yiqing Cao。

论文研究了大谈话模子在测验数据中存在阻扰信息时的学习倾向。