9月22日,由得物技术主办的「质量技术&AI提效」专题沙龙在上海市杨浦区黄兴路221号互联宝地C2栋得物App顺利举行。来自字节跳动、阿里巴巴、美团以及得物的专家们带来了4场干货满满的话题分享。沙龙总报名人数 220+,线上直播 UV 近 2万,整场沙龙内容丰富、干货满满。下面一起来回顾下活动现场的精彩内容吧,文末还有嘉宾PPT的领取方式哦~
出品人致辞
活动伊始, 得物质量&研发效能平台负责人Nik 做了开场分享。
大家下午好,现场一如既往,也是很多人啊。再次欢迎线上和线下参会的小伙伴们。如果关注得物技术,大家应该知道我们是一系列的这个沙龙活动,目前是 26 期了;往期话题也分享过 「架构、安全、稳定、质量、效能」等等;那本次的沙龙的主题是「质量技术和 AI 提效」,主要聚焦在「提效」上。
得物是 2015 年成立,最初是以资讯的 App 上线,主要是给年轻用户传递潮流文化和一些资讯;在 2017 年,我们首创上线了「先鉴别,后发货」的交易模式,深受广大用户的喜欢。
在随后几年,我们在运动和潮鞋方面其实做到了行业领先,最近几年,我们也拓宽了非常多的品类,包括潮物、潮搭、汽车、美妆、家居、数码、包、表、配饰、艺术、儿童,以及食饮等等。得物选品一直有个非常严苛的标准,除了一些硬性指标,还一直坚持一个大原则,就是「不伪、不劣、不low」,这也是年轻用户喜欢我们的重要的一个原因。如果今天你再去打开得物App,你会发现它其实是一个非常综合性的电商平台。这里面聚集了非常多的「新、潮、酷、炫」以及各种各样的属性的商品。目前,得物也是成为了各大潮流品牌的首发和首选运营的平台,这也得益于我们这几年在得物的「电商、社区、创新服务」上,一直耕耘和努力的结果,之后我们也会持续坚持「用好货、好内容、好服务」去满足广大年轻人对美好生活的追求。
在过去业务飞速的发展过程中,得物技术起到了非常大的支撑作用。简单回顾下我们技术团队的发展,从2019年的百人团队到现在的千人团队,而且横跨四地,人员规模短时间翻了 20 多倍,在整个过程当中,我们也遇到了非常多的挑战和问题,也吸取了大量的教训,形成了很多的最佳实践。
得物技术一直坚持得物特色的敏捷双周迭代,在我们每次双周的迭代里面就会交付上千个需求,有上万次的构建,几千次的发布。这样一个双周的一个精细化的生产协同过程当中,对质量技术、质量管理体系以及说测试效率都提出了非常高的一个要求。
从协同上来讲,一直是以落地质量管理的白皮书不断地更新版本,通过流程的再造和系统升级,我们解决了整个跨职能,跨多条线,以及跨多团队的协同的质量和协同效率的一个问题。从工程上来讲,包括今天的一些主题上面,我们在坚持自动化的落地,在流量回放的应用以及在精准测试上,在监控和巡检,以及我们在流水线编排和应用上面来讲,其实解决了我们在研发阶段、测试阶段和发布阶段的各个阶段的质量和效率,也形成了得物特色的这种质量管理体系。值得一提的是,在去年得物的质量管理模式也获得了上海市质量金奖,这也是首个也是唯一一个获得此奖项的互联网消费平台。
回到今天的质量沙龙,就我们比较聚焦在质量技术和 AI 提效方面,我们除了得物技术分享的精准测试,我们也非常高兴能邀请到字节、饿了么以及美团的质量技术专家,分别就我们智能化提效、仿真自动化、算法的灰度技术方面来给大家带来一些前沿的一些干货,那么也是希望今天的分享能够给大家接下来的工作带来一些新的思路和启发,谢谢大家。
现场观众
干货来袭
01
第一位分享嘉宾是来自字节跳动的营销中台质量技术专家 黄智浩。他分享的主题是《智能化提效实践》,主要涵盖测试设计生成中应用大模型,包括测试设计的背景、探索实践、AI 工程建设思路、测试设计生成的评测方案及取得收益。
重点回顾:
全流程智能化测试的效果展望与提效分析:从质量全域看,通过优秀测试设计分级需求能节省 QA 人力,测试设计生成可解决用例编写提效问题,还能生成可执行步骤转自动化脚本,测后提效相关也依赖于测试环节的分析设计。
测试设计的复杂性、问题与解决方案及能力形态:主要讨论测试设计的复杂性及流程,包括环节介入、评估判断等,指出传统以人工判断为主存在的问题,想通过测试设计生成聚焦解决相关问题,并介绍当前达成形态具有风险识别、应对和测试设计三大能力,还提及风险应对策略的三块功能及整体数据建设合作情况。
测试设计生成环节及需求保障分级介绍:主要讲测试设计生成环节,包括生成完整用例、判断兼容性和回归用例,优化补全用例,输出 XMAIL 格式,集成在 CICD 流程,按需求识别生成风险、测试、违规用例并分析,分为高、中、低风险三级,给出不同保障建议。
需求评审排期后的成果与 AI 工程思路介绍:主要介绍了在需求评审排期完成后的实现效果,包括风险识别,能告知风险类型和风险点;测试用例交互界面,显示需求涉及的测试重点等;还有脑图结构,能与用例管理平台无缝衔接,之后将进入介绍整体 AI 工程及相关思路这一重点部分。
AI 测试设计生成的模型训练与工程架构解析:主要介绍了测试设计生成相关内容,包括数据处理、提示工程、模型训练策略、检索增强、强化学习等,还涉及数据层、模型层等各层架构,以及效果评估和整体服务、应用层的能力,旨在提高用例生成效果和研发流程效率。
现场观众互动
02
第二位分享嘉宾是饿了么金融财务中台质量负责人王坚(辰皓),他分享的主题是《仿真自动化在饿了么金融实践分享》。话题分为6个部分,包括个人经历,之后阐述分享方案前的背景及业务架构情况。指出业务需求暴涨致发布次数多,研发测试比例拉大,产生老业务回归保障机制不足、线上问题激增,漏测主因是回归主场景缺失。还提出内部对架构升级,给技术研发和测试带来很大挑战等。
重点回顾:
饿了么业务场景度量与自动化双链路对比的策略与校验:主要讲了业务场景度量和提升效率的相关内容。包括通过联合尝试解决场景多分析遗漏,用算法运算特征值生成MD5值来度量业务场景及占比,还提及通过双链路对比进行校验提升效率,以及通过三种方式做校验点的校验。
阿里网络框架及饿了么应用相关问题探讨:指出链路互通时写操作存在风险,此前双链路运行方案在环境体系中跑不通。最终通过环境加数据的问题方案解决,提到通过三端校验数据。还介绍了平台的仿真架构图及模块划分,包括表现层、执行层等,后续将通过报表分析业务并进行预警。
解决盘内外调用及数据依赖问题的线下双链路运行方案:讨论了如何解决盘内外调用问题,提出转换线上与预发双链路运行到线下,指出存在稳定的主干环境和集成环境,还提到因网隔离需借助 VIP 平台梳理依赖数据血缘关系并采集转发,最终实现线下双链路运行和比对。
测试工作中的能力及策略变化:主要讲述了工作近十年的测试经验的分享。一是质量策略工具及方案要随工作变化,这是质量同学的硬性能力;二是简单与复杂的辩证,如复杂问题简单化、某些场合简单问题复杂化能助推动,这更多是软性能力。
03
接着,第三位分享嘉宾是来自得物商家域质量专家 王红梅,她分享的主题是《得物精准测试提效应用》。
得物精准测试平台的应用背景与实践提效,主要讲述了得物使用精准测试平台的情况,先是介绍行业现状,包括不同公司的探索,接着分析软件交付常面临的问题,然后结合得物现状引入该平台,指出其可提升测试针对性和效率,最后详细介绍了得物在精准测试应用方面的实践方案。
重点回顾:
得物精准测试平台在业务侧的落地情况:围绕业务侧落地精准测试平台展开,指出从业务方提需求、开发提测后到交付都在测试执行阶段,以前人工评估变更,现要精确评估,测试中有过程度量,结束后通过代码覆盖率反推执行情况,有效交付需达成目标,最基础的是明确变更,得物精准测试平台具备变更推荐、风险推荐、H5 推荐三个能力。
精准测试平台的实现、能力、挑战及应对:主要讲述了精准测试平台的基础能力,包括变更推荐和风险推荐,以及其实现方式和业务应用流程,还指出了精准率达 100%且稳定和应用维度自动化智能化等面临的挑战及解决思路。
得物精准测试平台提效实践与成果:主要讲述精准测试提效实践,包括解决精准率低的问题,通过迭代复盘提升,最终达到 100%并稳定;还提及规模化应用低效的痛点,采取结合流水线、自动化和覆盖率平台等行动,降低人工成本,提升使用效率,实现执行人力降至 0 及覆盖率提升的效果。
04
最后一位压轴嘉宾是美团的商业增值质量技术专家 张倩,她围绕《广告算法灰度拦截实践》这一主题,阐述了广告算法质量保障下灰度拦截的实践。分享分四部分,包括算法质量建设的困难和挑战、方案调研实践、落地运营方式及收益、当前进展。还提到广告算法体系的构成,如基础数据、召回策略、预估模型、机制设计等。
重点回顾:
广告推荐中各层模型与机制的类型介绍:介绍了召回策略、预估模型和机制设计所涉及的机器学习内容。召回层有双塔模型和 DNN 模型;预估层模型类型丰富,包括普通 DNN 模型、实时推理模型等;机制层主要是 list wise 打分模型和生成模型。还提到多任务模型输出矩阵用于计算排序。
在线广告模型质量建设的困难与挑战:指出模型质量建设存在众多困难和挑战,包括场景丰富、广告数量种类多、离线训练与特征抽取是黑盒、更新频次高、迭代操作频繁、质量建设基本为零、模型离线评估有局限、人员质量意识薄弱、人力比低,还需关注不影响算法迭代效率。
模型故障分析与自动灰度校验拦截思路:主要讲述基于历史故障确定的思路,发现模型问题多因离线引入,如随意操作、不可控数据变更,且离线训练代码无归一化、由异构模型算法管理。为解决这些,确定在模型版本发布前建立自动灰度校验和拦截能力,有问题就拦住。
双塔模型灰度拦截能力的开发与业务落地进展:介绍了双塔模型的最新进展。流程是批次模型更新后进行灰度拦截控制层校验任务,任务分单侧和新旧对比两类。校验完成结果返回控制层,通过则更新全量模型,失败回滚。该能力已在业务落地,最初设计能校验线上所有变更场景。
茶歇&现场互动
本次质量沙龙主打“干货满满”和“松弛惬意”ALL IN,不仅为大家带来了最前沿领域的干货分享和技术洞见,还设置了精美茶歇和抽奖环节。大家表示学到很多呀!
左右滑动查看更多
现场互动礼物
观众大合影
出品团队&讲师合影
资料领取
PPT干货集锦领取:
「得物技术」公众号后台留言:PPT
直播回放:
「得物Tech」视频号 - 直播回放
写在最后
得物技术一直以“上海最好的技术团队”为愿景,现已建立上海、北京、杭州、长沙四地研发协同与管理机制,实现研发过程数据化、自动化;覆盖供应链、业务支撑、算法、前端等领域,是得物业务背后强有力的技术力量支撑。
本次得物技术沙龙的圆满落幕离不开各位的鼎力支持。感谢得物CTO Sean 及本次沙龙出品人 Nik 及其团队的支持,感谢分享嘉宾「黄智浩、王坚、王红梅、张倩」,感谢合作社区 InfoQ、51CTO、dbaplus社群、TesterHome、稀土掘金、CSDN、开源中国、思否的大力支持。
欢迎大家评论区留言本次活动反馈,我们会认真查看每一条宝贵建议进行活动优化,下期技术沙龙我们再见!