前沿热点:解剖屎山,寻觅黄金之第二弹
大家好,我3y啊。由于去重逻辑重构了几次,好多股东直呼看不懂,于是我今天再安排一波对代码的解析吧。austin支持两种去重的类型:N分钟相同内容达到N次去重和一天内N次相同渠道频次去重。
在最开始,我的第一版实现是这样的:
publicvoidduplication(TaskInfotaskInfo){//配置示例:{"contentDeduplication":{"num":1,"time":300},"frequencyDeduplication":{"num":5}}JSONObjectproperty=JSON.parseObject(config.getProperty(DEDUPLICATION_RULE_KEY,AustinConstant.APOLLO_DEFAULT_VALUE_JSON_OBJECT));JSONObjectcontentDeduplication=property.getJSONObject(CONTENT_DEDUPLICATION);JSONObjectfrequencyDeduplication=property.getJSONObject(FREQUENCY_DEDUPLICATION);//文案去重DeduplicationParamcontentParams=DeduplicationParam.builder().deduplicationTime(contentDeduplication.getLong(TIME)).countNum(contentDeduplication.getInteger(NUM)).taskInfo(taskInfo).anchorState(AnchorState.CONTENT_DEDUPLICATION).build();contentDeduplicationService.deduplication(contentParams);//运营总规则去重(一天内用户收到最多同一个渠道的消息次数)Longseconds=(DateUtil.endOfDay(newDate()).getTime()-DateUtil.current())/1000;DeduplicationParambusinessParams=DeduplicationParam.builder().deduplicationTime(seconds).countNum(frequencyDeduplication.getInteger(NUM)).taskInfo(taskInfo).anchorState(AnchorState.RULE_DEDUPLICATION).build();frequencyDeduplicationService.deduplication(businessParams);}
(资料图片仅供参考)
那时候很简单,基本主体逻辑都写在这个入口上了,应该都能看得懂。后来,群里滴滴哥表示这种代码不行,不能一眼看出来它干了什么。于是怒提了一波pull request重构了一版,入口是这样的:
publicvoidduplication(TaskInfotaskInfo){//配置样例:{"contentDeduplication":{"num":1,"time":300},"frequencyDeduplication":{"num":5}}Stringdeduplication=config.getProperty(DeduplicationConstants.DEDUPLICATION_RULE_KEY,AustinConstant.APOLLO_DEFAULT_VALUE_JSON_OBJECT);//去重DEDUPLICATION_LIST.forEach(key->{DeduplicationParamdeduplicationParam=builderFactory.select(key).build(deduplication,key);if(deduplicationParam!=null){deduplicationParam.setTaskInfo(taskInfo);DeduplicationServicededuplicationService=findService(key+SERVICE);deduplicationService.deduplication(deduplicationParam);}});}
我猜想他的思路就是把构建去重参数和选择具体的去重服务给封装起来了,在最外层的代码看起来就很简洁了。后来又跟他聊了下,他的设计思路是这样的:考虑到以后会有其他规则的去重就把去重逻辑单独封装起来了,之后用策略模版的设计模式进行了重构,重构后的代码 模版不变,支持各种不同策略的去重,扩展性更高更强更简洁
确实牛逼。
我基于上面的思路微改了下入口,代码最终演变成这样:
publicvoidduplication(TaskInfotaskInfo){//配置样例:{"deduplication_10":{"num":1,"time":300},"deduplication_20":{"num":5}}StringdeduplicationConfig=config.getProperty(DEDUPLICATION_RULE_KEY,CommonConstant.EMPTY_JSON_OBJECT);//去重ListdeduplicationList=DeduplicationType.getDeduplicationList();for(IntegerdeduplicationType:deduplicationList){DeduplicationParamdeduplicationParam=deduplicationHolder.selectBuilder(deduplicationType).build(deduplicationConfig,taskInfo);if(Objects.nonNull(deduplicationParam)){deduplicationHolder.selectService(deduplicationType).deduplication(deduplicationParam);}}}
到这,应该大多数人还能跟上吧?在讲具体的代码之前,我们先来简单看看去重功能的代码结构(这会对后面看代码有帮助)
去重的逻辑可以统一抽象为:在X时间段内达到了Y阈值,还记得我曾经说过:「去重」的本质:「业务Key」+「存储」。那么去重实现的步骤可以简单分为(我这边存储就用的Redis):
通过Key从Redis获取记录判断该Key在Redis的记录是否符合条件符合条件的则去重,不符合条件的则重新塞进Redis更新记录为了方便调整去重的参数,我把X时间段和Y阈值都放到了配置里{"deduplication_10":{"num":1,"time":300},"deduplication_20":{"num":5}}。目前有两种去重的具体实现:
1、5分钟内相同用户如果收到相同的内容,则应该被过滤掉
2、一天内相同的用户如果已经收到某渠道内容5次,则应该被过滤掉
从配置中心拿到配置信息了以后,Builder就是根据这两种类型去构建出DeduplicationParam,就是以下代码:
DeduplicationParamdeduplicationParam=deduplicationHolder.selectBuilder(deduplicationType).build(deduplicationConfig,taskInfo);
Builder和DeduplicationService都用了类似的写法(在子类初始化的时候指定类型,在父类统一接收,放到Map里管理)
而统一管理着这些服务有个中心的地方,我把这取名为DeduplicationHolder
/***@authorhuskey*@date2022/1/18*/@ServicepublicclassDeduplicationHolder{privatefinalMapbuilderHolder=newHashMap<>(4);privatefinalMap serviceHolder=newHashMap<>(4);publicBuilderselectBuilder(Integerkey){returnbuilderHolder.get(key);}publicDeduplicationServiceselectService(Integerkey){returnserviceHolder.get(key);}publicvoidputBuilder(Integerkey,Builderbuilder){builderHolder.put(key,builder);}publicvoidputService(Integerkey,DeduplicationServiceservice){serviceHolder.put(key,service);}}
前面提到的业务Key,是在AbstractDeduplicationService的子类下构建的:
而具体的去重逻辑实现则都在LimitService下,{一天内相同的用户如果已经收到某渠道内容5次}是在SimpleLimitService中处理使用mget和pipelineSetEX就完成了实现。而{5分钟内相同用户如果收到相同的内容}是在SlideWindowLimitService中处理,使用了lua脚本完成了实现。
LimitService的代码都来源于@caolongxiu的pull request,建议大家可以对比commit再学习一番:https://gitee.com/zhongfucheng/austin/pulls/19
1、频次去重采用普通的计数去重方法,限制的是每天发送的条数。
2、内容去重采用的是新开发的基于redis中zset的滑动窗口去重,可以做到严格控制单位时间内的频次。
3、redis使用lua脚本来保证原子性和减少网络io的损耗
4、redis的key增加前缀做到数据隔离(后期可能有动态更换去重方法的需求)
5、把具体限流去重方法从DeduplicationService抽取出来,DeduplicationService只需设置构造器注入时注入的AbstractLimitService(具体限流去重服务)类型即可动态更换去重的方法 6、使用雪花算法生成zset的唯一value,score使用的是当前的时间戳
针对滑动窗口去重,有会引申出新的问题:limit.lua的逻辑?为什么要移除时间窗口的之前的数据?为什么ARGV[4]参数要唯一?为什么要expire?
A: 使用滑动窗口可以保证N分钟达到N次进行去重。滑动窗口可以回顾下TCP的,也可以回顾下刷LeetCode时的一些题,那这为什么要移除,就不陌生了。
为什么ARGV[4]要唯一,具体可以看看zadd这条命令,我们只需要保证每次add进窗口内的成员是唯一的,那么就不会触发有更新的操作(我认为这样设计会更加简单些),而唯一Key用雪花算法比较方便。
为什么expire?,如果这个key只被调用一次。那就很有可能在redis内存常驻了,expire能避免这种情况。
推荐项目最后再叨叨吧,很多人可能会发一段截图,跑来问我为什么要这样写,为什么要以这种方式实现,能不能以这种方式实现。这时候,我更想看到的是:你已经实现了第二种方式了,然后探讨你写的这种方案好不好,现有的代码差在哪里。
毕竟问问题很简单,我又不是客服,总不能没诚意的问题我都得一一回答吧。
如果想学Java项目的,我还是强烈推荐我的开源项目消息推送平台Austin,可以用作毕业设计,可以用作校招,可以看看生产环境是怎么推送消息的。
仓库地址(可点击阅读原文跳转):https://gitee.com/zhongfucheng/austin
我开通了股东服务内容,感兴趣可以点击下方看看,主要针对的是项目哟
VIP服务
标签:
抢先读
- papereasy论文查重(papereasy) 环球速看
- 当前视讯!2023鹿晗演唱会重庆站什么时候购票?
- 前沿热点:解剖屎山,寻觅黄金之第二弹
- 全球今头条!1岁宝宝脑袋呈舟状来沪求医,3D打印为他重拼颅骨回归“好”头型
- 最新快讯!2023年江苏省高考模拟志愿怎么填?
- 凡拓数创06月16日主力大幅流出
- 焦点播报:房地产市场仍需增信心促转型
- 锐捷网络:拟5000万元对外投资设立产业基金
- 焦点日报:超6200万元 永昌消费潜力持续释放
- 当前简讯:2023唐山玉田县城区初中招生划片范围
- 焦点热讯:我国经济运行保持恢复态势 重点在六方面发力
- 美国疾控中心:枪支暴力推波助澜 青少年谋杀率飙升|环球今头条
- HER-2、CLDN18.2、C-MET……谁是今年最强靶点?丨 2023 CGOG
- 天天时讯:迎峰度夏又至 中国统调电厂存煤达历史新高
- 每日热点:最新规划公示!青银高速以东地块周边将新建三条道路
- 世界短讯!山东高温天气预计本周末结束 18日夜间到20日大部地区将迎降雨
- 胜利监理(836665):拟10派0.6元,共派现1749.87万元
- 员工被行政拘留可以解除劳动关系吗?行政拘留有案底吗? 天天热文
- 天回小学锦北分校与成都十八幼锦北分园共筑良好教育生态
- 一个网友欠钱不还,欠钱不还|环球今亮点
- 世界简讯:将9月底实现量产 全新一代北京BJ40申报图
- 囊组词_囊组词有什么-天天快消息
- 【天天热闻】漯河市人民政府最新通知!
- 2023粤港澳车展:问界M5智驾版全国首批交付
- 头条:2023北京延庆区幼儿园入园新生现场报名须知
- 天天关注:绛县气象台发布大风蓝色预警【Ⅳ级/一般】【2023-06-16】
- 每日报道:呼和浩特急诊挂号费纳入医保报销(附价格调整表)
- 汉宇集团06月16日主力大幅流出
- 全球视讯!加强企业安全意识 提升全民安全素质
- 五部门:鼓励运用信贷、债券、资产支持证券、基础设施领域不动产投资信托基金(REITs)等方式 支持专业化、规模化住房租赁企业发展
- 警方通告!盐城这18名违法犯罪人员快投案自首!
- 《射雕》演员太坎坷,孤独离世、酒店猝死、开煤气自杀,令人惋惜
- 【世界时快讯】北京挂牌昌平、通州3宗预申请用地 总起始价近80亿元
- 安路科技:股东拟合计减持不超过4.5%公司股份 全球播资讯
- 贷款不去银行要去中国移动?电信运营商的“信用购”到底藏着什么坑-世界热点评
- 全球快资讯丨“云”上逛房福利多多 2023齐鲁(济南)夏季房展汇盛大启动
- 当前资讯!怎么查找c盘无用文件(如何查找C盘没用的文件 怎么办)
- 世界聚焦:织金县后寨乡:“三防一治”为高考考生金榜题名保驾护航
- 重磅!募资300亿华电新能IPO过会
- 你爆料 我调查|618啄木鸟投诉线索征集 网购套路、消费陷阱等你爆料|世界百事通
- 全球微资讯!南昌西湖区品味粽夏乐购西湖消费券活动时间+领取使用办法
- 港股交易规则是什么? 港股开盘时间是什么?
- 山东第一医科大学放射学院:打造影像品牌 跑出人才培养“加速度” 世界热文
- 商洛市政府职能转变和“放管服”改革工作现场推进会在洛南召开
- 网红跨省为粉丝取快递被发现内含毒品,重审后再次被判无期
- 2023年最新江苏防温降暑费标准来了 江苏高温费发放标准2022几个月?
- 每日报道:wps如何画组织结构图(wps如何制作组织结构图)
- 2023年宁波方特端午门票价格+购买入口|世界速递
- 关注:吴堡县气象台继续发布大风蓝色预警【Ⅳ级/一般】【2023-06-16】
- 时光相册怎么传到新手机 具体操作方法介绍
- 市三防会商:未来7天广州市仍处龙舟水降水盛期
- 聚焦2023青海藏毯国际展览会:地毯的世界 世界的地毯|全球快讯
- 比亚迪腾势N7高阶辅助驾驶助力最强智驾 环球新要闻
- 腾达科技下周上会:招股书内容出现乌龙,专利含金量大打折扣 环球速看料
- 天天热议:生物质科学与工程_关于生物质科学与工程介绍
- 环球精选!中考笔试落幕,考场外仪式感满满!感恩母校老师,考生假期旅行成心愿……
- 中科信息:瑞拓科技的烟草物理检测产品出口到韩国|全球微动态
- 环球通讯!石渠县气象台更新雷电黄色预警信号【III级/较重】【2023-06-16】
- 天天热门:6月16日基金净值:建信大安全战略精选股票最新净值2.8363,涨0.66%
- 威盛创造栗AI训练营再次起航,小栗方助力青山区人工智能教师培训成功开展|环球观焦点
- 外星入侵科幻生存 《星球:重启》测试招募开启!
- 石家庄新华区购车补贴能兑换成现金吗? 世界热头条
- 《星空》不支持韩语让许多韩媒不爽 痛批B社不重视韩国|焦点速递
- 如果借的网上贷款还不上怎么办?网贷逾期后果严重吗?
- 全国现代设施农业建设推进会在青岛召开|全球热议
- 【环球快播报】代办信用卡停息挂账违法吗?银行为什么拒绝停息挂账?
- 每日讯息!瞰海南 | 航拍大唐海口天然气发电项目 年减排二氧化碳192万余吨
- 全球观热点:酒店因各种原因出租酒店 酒店不想解约员工赔钱 原合同转变为第
- 环球今日讯!瑞丰银行行长张向荣“工作调动”,或将任职于浙江省内其他农商银行
- 国泰君安期货助力云南红河州绿春县天然橡胶“保险+期货”项目启动
- 【环球时快讯】南通海门:“铸剑护‘薪’” 锻造过硬劳动监察队伍
- 母猪场非洲猪瘟早期症状有哪些?非洲猪瘟与普通猪瘟的区别?
- 全球今头条!南县麻河口镇:禁毒宣讲进校园 守护青春助成长
- 瀚铠RX 7900 XT次旗舰显卡 直降1320元!
- 【国际漫评】这是没有新谣可造了吗? 热点
- 民生证券钱龙旗舰软件 民生证券钱龙版
- 长沙小升初微机派位看成绩吗 每日视点
- 6月16日基金净值:国泰价值领航股票A最新净值0.7969,涨0.9%
- 古浪县气象台发布大风黄色预警信号【2023-06-16】|每日焦点
- 洪城环境:拟收购南昌工贸100%股权
- 2023佛山南丹山泼水节活动指南(时间+门票+内容)|世界热点评
- 2023年军队院校招收广东普通高中毕业生工作启动,扩招56人|环球视点
- 环球简讯:碳酸锂期货上市“临门一脚” 或重构国内锂盐定价体系
- 天马行空挥洒创意!《狂想乐园》今日上市!
- 高盛和巴克莱的策略师们“中大奖”,他们此前押注美联储不会在6月13-14日FOMC货币政策会议上宣布降息 世界微动态
- 城地香江:子公司中标4.4亿元机房及配套机电工程总承包
- 党旗飘扬毕业季|“最后一堂党课”送别毕业生党员-环球新要闻
- 海涛优选(海涛优酷空间) 全球今亮点
- 世界看热讯:转发提醒爸妈!民政部:这5种情形可能是非法集资!
- 【全球报资讯】优巨新材新增产能或难消化,近半募资为补流,外销数据前后不一
- 全球热议:ROG雷切Pro手柄预约开启 微软Xbox授权、千元内到手
- 今日美元/加元汇率走势图分析(6月16日)
- 中国移动资费最便宜的套餐(中国移动资费)
- 2023长沙“建筑施工质量管理和安全生产标准化示范”观摩会走进和顺总部基地项目
- 2023年北京徐悲鸿纪念馆志愿者招募公告
- 学生模式app推荐(学生模式)|即时看
- 南京市建邺区成立“精细护幼”药事服务团队 呵护儿童健康成长-全球热讯
- 精彩看点:第33个全国节能宣传周将于7月10日启动
- 2023上海端午节游玩推荐景点有哪些?|环球快资讯
- 世界热讯:中原鹤壁担保携手银行机构,护航“三夏”助丰收