【新智元导读】最近,来自NUS、UT Austin等机构的研究人员创新性地提出了一种「拖拽式大语言模型」(DnD),它可以基于提示词快速生成模型参数,无需微调就能适应任务。不仅效率最高提升12000倍,而且具备出色的零样本泛化能力。
刚刚,包括尤洋教授在内的来自新加坡国立大学、得克萨斯大学奥斯汀分校等机构的研究人员,提出了一种全新的「拖拽式大语言模型」——Drag-and-Drop LLMs!
通过一个轻量级文本编码器与一个级联超卷积解码器的组合,DnD能在数秒内,仅根据无标签的任务提示词,生成针对该任务的LoRA权重矩阵。
通过观察,研究人员发现,LoRA适配器无非是其训练数据的一个函数:梯度下降会将基础权重「拖拽」至一个特定任务的最优状态。
为了赋予模型「拖拽」的能力,团队将这些数据集的提示词与收集到的LoRA权重进行随机配对,构成DnD模型的训练数据——即「提示词-参数」对。
在推理阶段,团队只需将来自全新数据集(训练中未见过)的提示词输入DnD,仅需一次前向传播,即可获得为该任务量身定制的参数。
实验结果表明,在零样本测试集上,团队的方法相较于训练所用的LoRA模型的平均性能,取得了惊人的提升,并且能够很好地泛化到多种真实世界任务和不同尺寸的LLM。
此前,他在中国科学技术大学获得人工智能学士学位。并曾在北卡罗来纳大学教堂山分校Huaxiu Yao教授的指导下进行实习,以及在中国科学技术大学数据科学实验室跟着导师Xiang Wang度过了两年的时光。
Zhangyang Wang目前是德克萨斯大学奥斯汀分校钱德拉家族电气与计算机工程系的终身副教授,并荣膺坦普尔顿基金会第7号捐赠教席。
他于2016年获伊利诺伊大学厄巴纳-香槟分校电气与计算机工程博士学位,师从计算机视觉泰斗黄煦涛(Thomas S.Huang)教授;并于2012年获中国科学技术大学电子工程与信息科学学士学位。
核心目标是创建结构化、模块化的模型表示:1)在过参数化模型空间中实现高效、鲁棒的学习;2)与符号知识及推理进行无缝连接。
此前,他在新加坡国立大学获得数据科学与机器学习博士学位,在中国科学院深圳先进技术研究院获得计算机技术硕士学位,在北京师范大学珠海校区获得学士学位。
抖阴APP官方版下载昨日的半决赛中,王欣瑜2-0淘汰了世界排名20位的萨姆索诺娃,强势进入决赛。这次柏林赛,王欣瑜的表现很是逆天。最近4场比赛,她连续淘汰了4位TOP20的选手,其中包括世界第2的高芙、世界第10的巴多萨。不过,刘强东这番表态其实有失公允,时间倒推5年,那个时候,刘强东正被明尼苏达州案搅得焦头烂额,整个风波从2018年一直持续到2022年10月才停歇。而在刘强东避风口的这段时间,正是京东元老徐雷、辛利军等一帮老兄弟在支撑,使得在阿里依然虎视眈眈、拼多多、抖音电商、快手崛起的背景下,京东才没有自乱阵脚,安稳地度过了最艰难的一段时光。抖阴APP官方版下载www.xjxjxj55.gov.cn虽已洗刷冤屈,但这件事对51漫画免费版于吴明的伤害让他始终无法释怀。“我被关押的一年多,舞厅关了门,孩子也因我deep色客的坐牢遭受不少非议,一家人沉浸在我含冤入狱的悲痛中。”吴明说,出狱后的多年里,他一直国产精品 春水在追究徐氏兄弟寻衅滋事的罪行和时任糖坊派出所所长韩某某违规办案的责任,但一直没有成功。摊位上的工作人员向记者展示了“宠物医生AI诊疗助手V1”能够将实时语音自动转写,生成电子病历。“该产品并非旨在替代医生,而是为医生提供强有力的辅助,帮助他们更高效地开展问诊工作。”工作人员说。
20251207 🔞 抖阴APP官方版下载除此之外,马刺想要得到杜兰特也难度极大,太阳对于杜兰特的要价过高,他们想要马刺的榜眼签与年度最佳新秀卡斯尔等,无疑也是让交易谈判受阻的关键因素。www.xjxjxj18.gov.cn能够正式留队让我感到无比幸福与自豪,这是我自加盟以来的目标。如今心愿达成,我已专注于回馈俱乐部给予我的信任。
📸 付俊记者 郑建波 摄
20251207 🛏️ 抖阴APP官方版下载组建应急排涝抢险队伍力量300余人,准备大流量应急抢险相关车辆14辆,抽水能力为2.2万立方米/小时,并设立9座防汛物资前置仓库,配置安全防护设备共7504件,覆盖当前主要路段及易积水点周边。zjzjzjzjzjy.gov.cn更细分来看,2025年1-5月,人形机器人领域机器人算法工程师、机械结构设计工程师招聘职位数分别同比增长479%、239%,整体呈现“井喷式”增长,增速远大于整体机器人产业的相应职位。
📸 何沛记者 安兰银 摄
😘 哪知道,随着印巴冲突所展示出的情况,歼-10战机的威力终于适时展示出来,那菲律宾当然要考虑,别到时候人财两空!根本没有“平安搞事”的可能性。www.7788.gov.cm