USDT Casino - 全球热门USDT游戏娱乐平台，安全稳定，极速出款(访问363050.com 领取888USDT)1）LLM虽然具备丰富的世界知识和推理能力，但缺乏电商领域的专业知识，在直接应用中往往表现欠佳。

　　2）LLM的交互方式多为文本，而直接将用户历史行为以文本格式描述会导致输入信息冗长、信息密度低等问题，对建模和推理都造成了困扰。

　　为了解决以上问题，阿里妈妈提出了一种世界知识大模型URM，通过知识注入和信息对齐，让LLM成为兼顾世界知识和电商知识的专家。相比于传统的推荐模型，URM通过对用户兴趣的全面理解，可实现基于推理认知能力的用户兴趣推荐。

　　为了在低时延、高QPS要求的实际系统中上线应用，阿里妈妈技术团队设计了一套面向用户行为动态捕捉的异步推理链路。

　　目前，URM已经在阿里妈妈展示广告场景上线，在商家的投放效果和消费者的购物体验等指标上均带来了显著提升。

　　以下面这个例子为例，一个对嵌入式家电、收纳用品有过历史行为的用户，系统推测用户在关注装修且处于硬装的早期阶段，且根据点击商品推断用户比较注重生活品质，因此推荐了一些全屋定制类产品以及高品质的家电。

　　在传统推荐任务之外，通过特定的文字引导，URM可结合用户的历史兴趣产出更适合当前情境的结果。通过用户行为我们推测用户是一位男童的母亲，并且关注过儿童的新年衣服和女士牛仔裤。

　　当引导词增加新年时，推荐结果以儿童新年服装为主，而传统任务下系统会倾向于推荐用户近期浏览较多的女式牛仔裤。

　　会议期间，淘天集团的阿里妈妈共同主持一个计算广告算法技术相关的Tutorial（讲座），内容为介绍计算广告领域的技术发展脉络，以及阿里妈妈在该领域的最新技术突破——

　　个性化推荐在人们的日常生活中出现频率越来越高。为了满足用户的多样化需求，推荐系统中的任务定义也更加多元化，如多场景推荐、多目标推荐、发现性推荐等等。

　　参考LLM在自然语言处理领域的巨大成功，阿里妈妈技术团队希望基于LLM构建电商领域的世界知识大模型，使得它能同时具备LLM的世界知识和电商领域的专业知识，且能够轻松应对上述全部任务。

　　基于此，阿里妈妈技术团队提出了世界知识大模型Universal Recommendation Model（以下称URM），以预训练的LLM为基座，将多任务设计融入Prompt设计中，通过ID表征的知识注入和电商领域的任务对齐，实现对用户历史兴趣的理解和推理并最终推荐出符合用户兴趣的结果。

　　参考LLM的训练范式，在URM中，阿里妈妈技术团队利用文本来定义不同的推荐任务。

　　考虑到推荐场景用户行为的重要性和丰富性，为了充分刻画用户的历史行为，避免商品标题的冗长和低密度，URM将商品ID作为一种特殊的token注入文本描述，实现用户行为序列的高效表达。

　　考虑到工业场景落地的效率，URM直接生成商品ID，同时在输出结果中保留了文本，在对齐电商任务的同时保留LLM本身的知识。

　　为了保留LLM的预训练知识，阿里妈妈技术团队保留多层Transformer结构不变，对输入层和输出层的结构进行修改，如下图所示。

　　输出端，为了避免产出推荐结果和推理文本相互干扰，阿里妈妈技术团队在输入中增加了[UM]和[LM] 2种特殊字符来表示当前应该输出用户表征还是开始生成文本。与[UM]符号对应的输出通过用户建模头hUM映射到用户表示空间，用于候选商品的生成；与[LM]符号及其后续符号对应的输出通过语言模型头hLM映射到文本空间，用于文本token的生成。

　　URM架构区别于传统LLM主要有2个模块，1是商品多模态融合的表征方式，2是兼顾效果和效率的Sequence-In-Set-Out生成方式。

　　在传统推荐模型中，ID表征是面向特定任务的数据分布学习的，代表了商品间的相似关系，压缩了电商领域的协同信息。而LLM中通常采用文本、图像等语义表征，描述内容信息间的相似性。

　　为了提升LLM对电商信号的理解，同时保留LLM的知识，表征层设计了 ID表征和语义表征的融合模块来表达商品，并通过可学习MLP层实现ID 表征和文本、图像等语义表征的对齐。

　　同时，这套融合表征的设计具备较强的可扩展性，如语义ID等token均可作为新增模态引入，来不断强化商品的表达能力。

　　推荐的目标是从一个千万级别的候选库中找到曝光/点击概率最大的K个商品，它和语言模型LM从十万规模的词表空间中生成语言概率最大的 Token，是类似的问题。

　　其中U是大语言模型生成的用户表征，对应LM中的隐藏层特征，W是所有商品的融合表征，对应LLM中的最后一层的参数。考虑到工业界的落地可行性，阿里妈妈技术团队使用生成的用户表征和候选商品表征的内积作为分数并采样分数TopK的商品作为最终生成的结果。

　　在这种内积计算的范式下，模型的表达能力相对受限，对用户和商品的建模能力较差且推荐集合的多样性也会较差，难以发挥大语言模型的优势。函数逼近理论的一个结论是，特征的多个内积的线性组合可以逼近任意复杂的函数。因此通过增加[UM]token的数量使URM在一次前向过程中并行生成多个用户表征U=（U1，……，UH），最终用户和商品之间的打分为

　　这种Set-Out的多输出方式不仅能够保持仅需一次前向计算的相同推理效率，而且随token数上涨召回指标显著提升，同时解决了单一用户表征兴趣覆盖度有限的问题。

　　其中η是权衡超参数。考虑到URM对LLM的输入和输出层进行了显著修改，阿里妈妈技术团队采用完整参数的有监督微调（SFT），仅冻结商品的原始表征。

　　URM使用多任务融合数据集训练，并在生产数据集上取得了平均11.0%的Recall提升，在6个子任务（共9个任务）中都超越了线上使用 Target-Attention结构的传统推荐模型。

　　进一步的消融实验，验证了表征融合模块的有效性，也验证了随UM token数量上涨召回Recall呈显著上涨。Figure6验证了URM仍具有良好的文本理解能力和泛化能力，对已知的query文本和未知的query都有良好的推荐表现。

　　考虑到LLM的推理时延较长，无法满足在线请求的时延约束，阿里妈妈技术团队建设了一套异步推理的大模型召回链路。

　　如下图所示，在用户有淘系行为时异步触发URM推理，并将结果做持久化存储，供在线召回阶段读取使用。

　　在模型推理服务上，由于URM在商品多模态融合表征模块和User表征检索方式的改造，需要在LLM推理中增加HashTable支持，并支持推理表征的向量检索。

　　为了进一步提升资源利用率，阿里妈妈技术团队实现了多instance在同一容器的部署，将URM推理的并发qps提升200%。

　　本文主要介绍了阿里妈妈LMA 2广告大模型系列中的世界知识大模型URM在建模和落地方面的思考和进展。通过结合大模型的通用知识和电商领域的专家知识，URM能够更加精准地预测用户的潜在兴趣和购物需求，为商家和消费者提供更优质的服务。

　　04月29日，最高检发布第五十三批指导性案例，怎么找到AG官方，国际真人秀APP下载，新普京官网版，奥博体彩票下载

　　04月29日，低温蓝色预警！贵州湖南等5省部分地区最低气温较常年偏低7℃以上，24k88体育，日博体育App首页，大玩家游戏下载，银河集团娱乐网址

　　04月29日，川渝首张互通互认居住证发放，皇冠进不去了，九五至尊网站多少，贝博体育官方平台官网下载，腾龙国际客服电线日基层女工成长记：做好“排头兵” 她在岗位上发光发热永利线上网贝博在哪里玩凯时k666华体会体育APP

　　04月29日国家邮政局部署开展邮政快递业安全生产重大事故隐患大排查大整治 看牌抢庄怎么玩188体育外围平台首页万博官方下载澳门壹号赌场平台

　　04月29日传统零部件巨头走下“铁王座”银河澳门app官方下载杏鑫娱乐官网首页千亿国际手机网页登录开云体育官网登录平台……

　　04月29日，湖北发现罕见南北朝画像砖墓，米乐M68，bwin世界杯比分，天博官方app下载安装，b体育最新

　　04月29日，艺术史名家傅申辞世 友人推崇其造诣深广、提携后辈，澳门新博京，皇冠菠菜，亿博体育外围，皇冠游戏中心手机版

　　04月29日以制度型开放拓展发展空间（来自新时代改革开放一线·现场评论）买球的app排行betway必威手机版官网下载巴黎人的网站多少开户送20元体验金

　　04月29日，“意脉象成——中国画人物小品艺术展”福州开展，九游会平台网址，捕鱼传奇是哪个公司游戏，疯狂的捕鱼官方版下载，皇冠信用盘哪里开户

　　04月29日，F1中国大奖赛：车迷观赛热情高涨，发财波局，劲爆体育在线直播，水果机下载，ag平台游戏

　　04月29日，肯尼亚内阁首席部长兼外长穆达瓦迪将访华，云顶娱乐手机版网页版，沙巴体育游戏规则，美高梅体育官方app，永利体育好玩吗?

　　04月29日陕西西安：“国宝”大熊猫冒雪“干饭”皇冠世界杯买球明升88bbin入口宝盈体育网址

　　04月29日法国尼科石油公司：中国航空润滑油市场潜力巨大日博体育备用天博体育appios下载地址贝博体育平台官网首页入口澳门皇冠app在线日台湾写真：台湾观众迷《繁花》万利游戏棋牌手机版下载188体育外围线路英皇游戏app皇冠体育app下载地址

　　刘浩存双马尾，papi酱产后四个月去面试繁花国际人士分享新疆之旅：多元文化令人神往JDB电子娱乐官网GD真人体验视讯球盟会娱乐官网网址银河app网站

　　华中农大张黎称已成立新导师组，BW央行1月继续超额续做MLF，中标利率连续5个月不变网站365亚博国际平台和记博情娱乐ag真人试玩

　　机器狼抓娃娃比我手稳，烧伤妈妈康复期至少一年以上国防部新闻发言人吴谦就美国新一轮对台售武答记者问果博米乐体育ku112平台十博体育备用网址

　　谭竹回应胖猫遭PUA跳江，点读机女孩事件还有很多真相要厘清丹麦学者：包容开放是中国取得惊人成就的关键之一，西方欠缺的正是这个大富豪国际彩票w88win优德掘金网BOB竞彩官网

　　乒乓女单赛后网民发表诋毁信息被刑拘，曼城3比2逆转纽卡最高法：坚持严格保护知识产权，重拳打击侵权假冒行为必威官网登陆页凯发娱乐登录网页版抢庄斗牛注册送金币黄金城官网

　　太阳逆转骑士 杜兰特狂砍37分，阿信说让我一场一场把路人唱回来燃千年窑火 山西朔州以“瓷”为媒邀海内外客商投资兴业正规买球app十大排行申博开户网址so米直播体育平台直播九球体育下载app