解剖屎山,寻觅黄金之第二弹
大家好,我3y啊。由于去重逻辑重构了几次,好多股东直呼看不懂,于是我今天再安排一波对代码的解析吧。austin支持两种去重的类型:N分钟相同内容达到N次去重和一天内N次相同渠道频次去重。
在最开始,我的第一版实现是这样的:
(相关资料图)
publicvoidduplication(TaskInfotaskInfo){//配置示例:{"contentDeduplication":{"num":1,"time":300},"frequencyDeduplication":{"num":5}}JSONObjectproperty=JSON.parseObject(config.getProperty(DEDUPLICATION_RULE_KEY,AustinConstant.APOLLO_DEFAULT_VALUE_JSON_OBJECT));JSONObjectcontentDeduplication=property.getJSONObject(CONTENT_DEDUPLICATION);JSONObjectfrequencyDeduplication=property.getJSONObject(FREQUENCY_DEDUPLICATION);//文案去重DeduplicationParamcontentParams=DeduplicationParam.builder().deduplicationTime(contentDeduplication.getLong(TIME)).countNum(contentDeduplication.getInteger(NUM)).taskInfo(taskInfo).anchorState(AnchorState.CONTENT_DEDUPLICATION).build();contentDeduplicationService.deduplication(contentParams);//运营总规则去重(一天内用户收到最多同一个渠道的消息次数)Longseconds=(DateUtil.endOfDay(newDate()).getTime()-DateUtil.current())/1000;DeduplicationParambusinessParams=DeduplicationParam.builder().deduplicationTime(seconds).countNum(frequencyDeduplication.getInteger(NUM)).taskInfo(taskInfo).anchorState(AnchorState.RULE_DEDUPLICATION).build();frequencyDeduplicationService.deduplication(businessParams);}
那时候很简单,基本主体逻辑都写在这个入口上了,应该都能看得懂。后来,群里滴滴哥表示这种代码不行,不能一眼看出来它干了什么。于是怒提了一波pull request重构了一版,入口是这样的:
publicvoidduplication(TaskInfotaskInfo){//配置样例:{"contentDeduplication":{"num":1,"time":300},"frequencyDeduplication":{"num":5}}Stringdeduplication=config.getProperty(DeduplicationConstants.DEDUPLICATION_RULE_KEY,AustinConstant.APOLLO_DEFAULT_VALUE_JSON_OBJECT);//去重DEDUPLICATION_LIST.forEach(key->{DeduplicationParamdeduplicationParam=builderFactory.select(key).build(deduplication,key);if(deduplicationParam!=null){deduplicationParam.setTaskInfo(taskInfo);DeduplicationServicededuplicationService=findService(key+SERVICE);deduplicationService.deduplication(deduplicationParam);}});}
我猜想他的思路就是把构建去重参数和选择具体的去重服务给封装起来了,在最外层的代码看起来就很简洁了。后来又跟他聊了下,他的设计思路是这样的:考虑到以后会有其他规则的去重就把去重逻辑单独封装起来了,之后用策略模版的设计模式进行了重构,重构后的代码 模版不变,支持各种不同策略的去重,扩展性更高更强更简洁
确实牛逼。
我基于上面的思路微改了下入口,代码最终演变成这样:
publicvoidduplication(TaskInfotaskInfo){//配置样例:{"deduplication_10":{"num":1,"time":300},"deduplication_20":{"num":5}}StringdeduplicationConfig=config.getProperty(DEDUPLICATION_RULE_KEY,CommonConstant.EMPTY_JSON_OBJECT);//去重ListdeduplicationList=DeduplicationType.getDeduplicationList();for(IntegerdeduplicationType:deduplicationList){DeduplicationParamdeduplicationParam=deduplicationHolder.selectBuilder(deduplicationType).build(deduplicationConfig,taskInfo);if(Objects.nonNull(deduplicationParam)){deduplicationHolder.selectService(deduplicationType).deduplication(deduplicationParam);}}}
到这,应该大多数人还能跟上吧?在讲具体的代码之前,我们先来简单看看去重功能的代码结构(这会对后面看代码有帮助)
去重的逻辑可以统一抽象为:在X时间段内达到了Y阈值,还记得我曾经说过:「去重」的本质:「业务Key」+「存储」。那么去重实现的步骤可以简单分为(我这边存储就用的Redis):
通过Key从Redis获取记录判断该Key在Redis的记录是否符合条件符合条件的则去重,不符合条件的则重新塞进Redis更新记录为了方便调整去重的参数,我把X时间段和Y阈值都放到了配置里{"deduplication_10":{"num":1,"time":300},"deduplication_20":{"num":5}}。目前有两种去重的具体实现:
1、5分钟内相同用户如果收到相同的内容,则应该被过滤掉
2、一天内相同的用户如果已经收到某渠道内容5次,则应该被过滤掉
从配置中心拿到配置信息了以后,Builder就是根据这两种类型去构建出DeduplicationParam,就是以下代码:
DeduplicationParamdeduplicationParam=deduplicationHolder.selectBuilder(deduplicationType).build(deduplicationConfig,taskInfo);
Builder和DeduplicationService都用了类似的写法(在子类初始化的时候指定类型,在父类统一接收,放到Map里管理)
而统一管理着这些服务有个中心的地方,我把这取名为DeduplicationHolder
/***@authorhuskey*@date2022/1/18*/@ServicepublicclassDeduplicationHolder{privatefinalMapbuilderHolder=newHashMap<>(4);privatefinalMap serviceHolder=newHashMap<>(4);publicBuilderselectBuilder(Integerkey){returnbuilderHolder.get(key);}publicDeduplicationServiceselectService(Integerkey){returnserviceHolder.get(key);}publicvoidputBuilder(Integerkey,Builderbuilder){builderHolder.put(key,builder);}publicvoidputService(Integerkey,DeduplicationServiceservice){serviceHolder.put(key,service);}}
前面提到的业务Key,是在AbstractDeduplicationService的子类下构建的:
而具体的去重逻辑实现则都在LimitService下,{一天内相同的用户如果已经收到某渠道内容5次}是在SimpleLimitService中处理使用mget和pipelineSetEX就完成了实现。而{5分钟内相同用户如果收到相同的内容}是在SlideWindowLimitService中处理,使用了lua脚本完成了实现。
LimitService的代码都来源于@caolongxiu的pull request,建议大家可以对比commit再学习一番:https://gitee.com/zhongfucheng/austin/pulls/19
1、频次去重采用普通的计数去重方法,限制的是每天发送的条数。
2、内容去重采用的是新开发的基于redis中zset的滑动窗口去重,可以做到严格控制单位时间内的频次。
3、redis使用lua脚本来保证原子性和减少网络io的损耗
4、redis的key增加前缀做到数据隔离(后期可能有动态更换去重方法的需求)
5、把具体限流去重方法从DeduplicationService抽取出来,DeduplicationService只需设置构造器注入时注入的AbstractLimitService(具体限流去重服务)类型即可动态更换去重的方法 6、使用雪花算法生成zset的唯一value,score使用的是当前的时间戳
针对滑动窗口去重,有会引申出新的问题:limit.lua的逻辑?为什么要移除时间窗口的之前的数据?为什么ARGV[4]参数要唯一?为什么要expire?
A: 使用滑动窗口可以保证N分钟达到N次进行去重。滑动窗口可以回顾下TCP的,也可以回顾下刷LeetCode时的一些题,那这为什么要移除,就不陌生了。
为什么ARGV[4]要唯一,具体可以看看zadd这条命令,我们只需要保证每次add进窗口内的成员是唯一的,那么就不会触发有更新的操作(我认为这样设计会更加简单些),而唯一Key用雪花算法比较方便。
为什么expire?,如果这个key只被调用一次。那就很有可能在redis内存常驻了,expire能避免这种情况。
推荐项目最后再叨叨吧,很多人可能会发一段截图,跑来问我为什么要这样写,为什么要以这种方式实现,能不能以这种方式实现。这时候,我更想看到的是:你已经实现了第二种方式了,然后探讨你写的这种方案好不好,现有的代码差在哪里。
毕竟问问题很简单,我又不是客服,总不能没诚意的问题我都得一一回答吧。
如果想学Java项目的,我还是强烈推荐我的开源项目消息推送平台Austin,可以用作毕业设计,可以用作校招,可以看看生产环境是怎么推送消息的。
仓库地址(可点击阅读原文跳转):https://gitee.com/zhongfucheng/austin
我开通了股东服务内容,感兴趣可以点击下方看看,主要针对的是项目哟
VIP服务
标签:
抢先读
- 新消息丨台州路桥区2023年购车补贴活动(发放时间+标准+领取)
- 福州仓山区骑行路线推荐
- 【天天新要闻】2023长沙中考分数怎么折算
- 医本正经丨如何区分痣和黑色素瘤?教您自测发现“危险痣”,4个提示早知道
- 全球关注:余罪3还会不会上映_余罪3什么时候播出
- 阿里巴巴全球数学竞赛决赛6月17日正式打响|今日热议
- 天天亮点!好听的微信昵称网名 简单_简单大气的微信昵称340个 洋气又好记的微信网名
- 哈萨克电影同学_哈萨克电影网址
- 环球速讯:2023昆明市第七届运动会闭幕式时间及地点
- 2023年常州端午节赛龙舟在哪里?
- 2023青岛奥帆博物馆开闭馆最新消息(持续更新)
- 馒头影视一馒头清淡看片有味_馒头导航午夜_天天微资讯
- 濮阳市中小学幼儿园7月7日起放暑假
- 分享米饭团子的简单做法 ,秒变米饭杀手
- 【新视野】垃圾车概念股一览(2023/6/16)
- 选华为,还是特斯拉,或者自研?车企们要面临三选一了-天天讯息
- 天天日报丨(聚焦中国高质量发展)以侨为桥 泉州优品“扬帆出海”
- 视讯!全球智能网联汽车商业化创新论坛在深圳举办 多项合作协议签署
- 60余家“专精特新”企业西安共议数字化赋能|环球新要闻
- 人社发2012年69号文件_人社部2012年69号文件全文
- 环球今日报丨小猪不爱刷牙的童话故事_老猪开了一家牙刷店睡前故事
- 史丹利:部分控股股东拟减持不超过1.47%
- 雪菜碧池是什么意思_碧池是什么意思
- 寓意好的男孩子名字及意义_寓意比较好的男孩子的名字
- 不要怂就是干表情包_不要怂就是干 世界观点
- 爱的供养歌词表达了什么感情_爱的供养歌词
- 标晚:切尔西愿用科尔维尔以外的球员换凯塞多-环球百事通
- 最新报告发布:中小微外贸企业出口风险总体呈波动下降趋势 要闻速递
- 2023秋季学期湖南开学时间是几号-世界快播
- 桂龙葛洪药膏效果怎么样_葛洪药膏效果怎么样 热头条
- 北斗导航板块震荡走高,铖昌科技涨停-今日热讯
- 焦点播报:治疗过敏鼻炎的最佳方法和最有效的药_过敏鼻炎的最佳治疗方法偏方
- 环球热议:C视频|52.5米、地下17层楼高!记者探访成都在建最深基坑开挖见底
- 属虎的男孩名字_年男女孩名字属虎
- Dynabook推出Portégé X30L-K笔记本电脑:支持高度定制硬件配置
- 每日视讯:fps是什么意思(fps帧数越高越好吗)
- 速读:2023年济南第二届体育消费券发放面额
- 西部矿业拟7.9亿元关联交易 被两问标的高溢价合理性
- 热消息:填埋建筑垃圾、突击倒土复垦……苏鲁交界毁田盗采砂石调查
- 每日速看!很搞笑的qq昵称_qq搞笑的昵称350个 好笑又好记的qq网名
- 天天快讯:佳禾智能:6月15日公司高管肖伟群、严凯减持公司股份合计1.8万股
- 全球实时:华脉科技:控股股东筹划重大事项 股票6月19日开市起停牌
- 有哪些经济价值较大的中药?常见的种植方法有哪些?_全球观速讯
- 世界即时:[路演]金杨股份:公司加强各产品的市场开拓力度,主营业务收入呈现大幅增长态势
- 微速讯:沪昆高铁最新线路图高清_沪昆高铁最新线路图
- 《云顶之弈》网页版云游戏上线,手机上体验高清端游 当前观察
- 宏观大势与技术跟踪:TMT板块高歌猛进!当前行情走到哪一步?
- 天津这所高校缘何吸引湖北省技工院校组团“抢人”
- 世界观察:智能科技领航出行新突破 洛轲智能提高户外驾乘体验
- 重点聚焦!有一种忧伤穿过我的情感_对于有一种忧伤穿过我的情感简单介绍
- 每日短讯:全国首条长江高铁隧道开始盾构掘进
- 今日热闻!“绿水青山论坛•滇池大会”在昆明举行 探讨“中国式现代化与绿色发展”
- 推荐一款轻量级全栈式开源测试平台!
- 【环球快播报】小米48亿或被印度没收,电商平台狂卷618,比尔盖茨4年后再来京|一周产业热点
- 【独家焦点】高中军训,56式半自动每人五发,结果左边同学靶子6个弹孔,右边7洞, 我的一个
- 焦点!花生黄豆炖猪蹄的做法_花生黄豆炖猪蹄怎么做好吃
- 雷达币是个啥_雷达币是什么简介介绍
- 博主称路过云南泸沽湖景区仍需购票 景区回应
- 论道“智慧商业”,探索“数智零售”,2023全国智慧商业数智化运营研讨会在青岛举行
- 世界热文:惠普笔记本的触摸板怎么关闭 惠普笔记本的触控板怎么关闭
- 汽车装潢店_汽车装潢
- 湘佳股份(002982.SZ):拟与沐洲能源共同设立湘佳沐洲 新消息
- 每日速看!《蓝色协议》游戏最低需要什么配置?最低配置介绍
- 丛书主编蒋寅和业内著名专家畅谈古典文学的普及与传承 全球观察
- 诺德基金:好的定投,要找到合适的CP(下)
- 表白墙是什么人在运营_表白墙是什么意思
- 世界速看:云南农业大学2022年陕西各批录取分数线
- 最新快讯!关公的大刀多重相当于现在多重_关公大刀多少斤
- 二八年华和豆蔻年华_二八年华|世界视点
- 世界快看点丨股票行情快报:ST万林(603117)6月16日主力资金净卖出54.03万元
- 股票行情快报:晋控煤业(601001)6月16日主力资金净买入163.73万元
- 中国和南非青年对话会在南非约翰内斯堡举行
- 全球观焦点:聚成培训学习卡协议_聚成培训
- 天天最资讯丨每日优鲜再被执行215万,未履行总金额2396万余元
- 每日简讯:鹅口疮图片及症状婴儿_鹅口疮图片及症状
- 五月天应援棒吸金700万,灯牌要被时代抛弃了吗?
- 中雨!大雨!暴雨在路上!陕西发布最新预警,今晚……
- 世界热议:杭州跳桥救人小哥彭清林获家乡企业奖励一套住房
- 大泽电极近期获得首批由昆明市市场监督管理局审定批准的“知识产权运营服务体系建设专利密集型产品”的认定_看热讯
- 焦点资讯:远大再定合肥滨湖高端改善,万众瞩目的BK202303号地块案名正式发布!
- 全球新消息丨“天擎”诞生记——高效制取绿氢 降低终端用氢成本!
- 2023年宁波海曙区商场礼品券领券时间是多久
- 6月17~6月30猪·羊·龙三生肖运势也是越来越好,年底可以脱贫了
- 今日辟谣(2023年6月16日)|每日短讯
- 世界快报:新股市场再度火爆,Cava是什么来头
- 世界快资讯:每年花300亿吃榴莲,中国人为何榴莲成瘾?
- Dynabook推出Portégé X30L-K笔记本电脑:支持高度定制硬件配置 当前消息
- 安克创新:拟发行可转债募资不超过11亿元
- 【天天新要闻】麻章民警帮助走失儿童回家
- 当前速讯:华安国证生物医药ETF延长募集期
- 申请工伤认定地点,法律的规定是什么
- 世界观速讯丨人民财评:构建职业教育与产业发展相融互促的良好格局
- 四川苍溪:线上调解暖民心 锦旗致谢显真情_每日速递
- 环球微头条丨长沙香炉洲大桥最新进展(持续更新)
- 2023黄埔区民办小学本区和跨区报名人数超出学校招生计划电脑派位结果
- 国家统计局:二季度经济增长明显快于一季度|今日热讯
- 世界快播:还在谈论GL8?夏日商务接待这款车才是Boss首选
- 焦点!硅业分会:本周国内工业硅期现价格均延续下行态势
- 当前简讯:同学,你不是一个人在前行!上海中考明天开锣,花式送考为每位考生鼓劲
- 一把螺丝刀搞定笔记本 BIOS 密码,安全专家演示破解过程-全球看点