解剖屎山,寻觅黄金之第二弹
大家好,我3y啊。由于去重逻辑重构了几次,好多股东直呼看不懂,于是我今天再安排一波对代码的解析吧。austin支持两种去重的类型:N分钟相同内容达到N次去重和一天内N次相同渠道频次去重。
在最开始,我的第一版实现是这样的:
publicvoidduplication(TaskInfotaskInfo){//配置示例:{"contentDeduplication":{"num":1,"time":300},"frequencyDeduplication":{"num":5}}JSONObjectproperty=JSON.parseObject(config.getProperty(DEDUPLICATION_RULE_KEY,AustinConstant.APOLLO_DEFAULT_VALUE_JSON_OBJECT));JSONObjectcontentDeduplication=property.getJSONObject(CONTENT_DEDUPLICATION);JSONObjectfrequencyDeduplication=property.getJSONObject(FREQUENCY_DEDUPLICATION);//文案去重DeduplicationParamcontentParams=DeduplicationParam.builder().deduplicationTime(contentDeduplication.getLong(TIME)).countNum(contentDeduplication.getInteger(NUM)).taskInfo(taskInfo).anchorState(AnchorState.CONTENT_DEDUPLICATION).build();contentDeduplicationService.deduplication(contentParams);//运营总规则去重(一天内用户收到最多同一个渠道的消息次数)Longseconds=(DateUtil.endOfDay(newDate()).getTime()-DateUtil.current())/1000;DeduplicationParambusinessParams=DeduplicationParam.builder().deduplicationTime(seconds).countNum(frequencyDeduplication.getInteger(NUM)).taskInfo(taskInfo).anchorState(AnchorState.RULE_DEDUPLICATION).build();frequencyDeduplicationService.deduplication(businessParams);}
【资料图】
那时候很简单,基本主体逻辑都写在这个入口上了,应该都能看得懂。后来,群里滴滴哥表示这种代码不行,不能一眼看出来它干了什么。于是怒提了一波pull request重构了一版,入口是这样的:
publicvoidduplication(TaskInfotaskInfo){//配置样例:{"contentDeduplication":{"num":1,"time":300},"frequencyDeduplication":{"num":5}}Stringdeduplication=config.getProperty(DeduplicationConstants.DEDUPLICATION_RULE_KEY,AustinConstant.APOLLO_DEFAULT_VALUE_JSON_OBJECT);//去重DEDUPLICATION_LIST.forEach(key->{DeduplicationParamdeduplicationParam=builderFactory.select(key).build(deduplication,key);if(deduplicationParam!=null){deduplicationParam.setTaskInfo(taskInfo);DeduplicationServicededuplicationService=findService(key+SERVICE);deduplicationService.deduplication(deduplicationParam);}});}
我猜想他的思路就是把构建去重参数和选择具体的去重服务给封装起来了,在最外层的代码看起来就很简洁了。后来又跟他聊了下,他的设计思路是这样的:考虑到以后会有其他规则的去重就把去重逻辑单独封装起来了,之后用策略模版的设计模式进行了重构,重构后的代码 模版不变,支持各种不同策略的去重,扩展性更高更强更简洁
确实牛逼。
我基于上面的思路微改了下入口,代码最终演变成这样:
publicvoidduplication(TaskInfotaskInfo){//配置样例:{"deduplication_10":{"num":1,"time":300},"deduplication_20":{"num":5}}StringdeduplicationConfig=config.getProperty(DEDUPLICATION_RULE_KEY,CommonConstant.EMPTY_JSON_OBJECT);//去重ListdeduplicationList=DeduplicationType.getDeduplicationList();for(IntegerdeduplicationType:deduplicationList){DeduplicationParamdeduplicationParam=deduplicationHolder.selectBuilder(deduplicationType).build(deduplicationConfig,taskInfo);if(Objects.nonNull(deduplicationParam)){deduplicationHolder.selectService(deduplicationType).deduplication(deduplicationParam);}}}
到这,应该大多数人还能跟上吧?在讲具体的代码之前,我们先来简单看看去重功能的代码结构(这会对后面看代码有帮助)
去重的逻辑可以统一抽象为:在X时间段内达到了Y阈值,还记得我曾经说过:「去重」的本质:「业务Key」+「存储」。那么去重实现的步骤可以简单分为(我这边存储就用的Redis):
通过Key从Redis获取记录判断该Key在Redis的记录是否符合条件符合条件的则去重,不符合条件的则重新塞进Redis更新记录为了方便调整去重的参数,我把X时间段和Y阈值都放到了配置里{"deduplication_10":{"num":1,"time":300},"deduplication_20":{"num":5}}。目前有两种去重的具体实现:
1、5分钟内相同用户如果收到相同的内容,则应该被过滤掉
2、一天内相同的用户如果已经收到某渠道内容5次,则应该被过滤掉
从配置中心拿到配置信息了以后,Builder就是根据这两种类型去构建出DeduplicationParam,就是以下代码:
DeduplicationParamdeduplicationParam=deduplicationHolder.selectBuilder(deduplicationType).build(deduplicationConfig,taskInfo);
Builder和DeduplicationService都用了类似的写法(在子类初始化的时候指定类型,在父类统一接收,放到Map里管理)
而统一管理着这些服务有个中心的地方,我把这取名为DeduplicationHolder
/***@authorhuskey*@date2022/1/18*/@ServicepublicclassDeduplicationHolder{privatefinalMapbuilderHolder=newHashMap<>(4);privatefinalMap serviceHolder=newHashMap<>(4);publicBuilderselectBuilder(Integerkey){returnbuilderHolder.get(key);}publicDeduplicationServiceselectService(Integerkey){returnserviceHolder.get(key);}publicvoidputBuilder(Integerkey,Builderbuilder){builderHolder.put(key,builder);}publicvoidputService(Integerkey,DeduplicationServiceservice){serviceHolder.put(key,service);}}
前面提到的业务Key,是在AbstractDeduplicationService的子类下构建的:
而具体的去重逻辑实现则都在LimitService下,{一天内相同的用户如果已经收到某渠道内容5次}是在SimpleLimitService中处理使用mget和pipelineSetEX就完成了实现。而{5分钟内相同用户如果收到相同的内容}是在SlideWindowLimitService中处理,使用了lua脚本完成了实现。
LimitService的代码都来源于@caolongxiu的pull request,建议大家可以对比commit再学习一番:https://gitee.com/zhongfucheng/austin/pulls/19
1、频次去重采用普通的计数去重方法,限制的是每天发送的条数。
2、内容去重采用的是新开发的基于redis中zset的滑动窗口去重,可以做到严格控制单位时间内的频次。
3、redis使用lua脚本来保证原子性和减少网络io的损耗
4、redis的key增加前缀做到数据隔离(后期可能有动态更换去重方法的需求)
5、把具体限流去重方法从DeduplicationService抽取出来,DeduplicationService只需设置构造器注入时注入的AbstractLimitService(具体限流去重服务)类型即可动态更换去重的方法 6、使用雪花算法生成zset的唯一value,score使用的是当前的时间戳
针对滑动窗口去重,有会引申出新的问题:limit.lua的逻辑?为什么要移除时间窗口的之前的数据?为什么ARGV[4]参数要唯一?为什么要expire?
A: 使用滑动窗口可以保证N分钟达到N次进行去重。滑动窗口可以回顾下TCP的,也可以回顾下刷LeetCode时的一些题,那这为什么要移除,就不陌生了。
为什么ARGV[4]要唯一,具体可以看看zadd这条命令,我们只需要保证每次add进窗口内的成员是唯一的,那么就不会触发有更新的操作(我认为这样设计会更加简单些),而唯一Key用雪花算法比较方便。
为什么expire?,如果这个key只被调用一次。那就很有可能在redis内存常驻了,expire能避免这种情况。
推荐项目最后再叨叨吧,很多人可能会发一段截图,跑来问我为什么要这样写,为什么要以这种方式实现,能不能以这种方式实现。这时候,我更想看到的是:你已经实现了第二种方式了,然后探讨你写的这种方案好不好,现有的代码差在哪里。
毕竟问问题很简单,我又不是客服,总不能没诚意的问题我都得一一回答吧。
如果想学Java项目的,我还是强烈推荐我的开源项目消息推送平台Austin,可以用作毕业设计,可以用作校招,可以看看生产环境是怎么推送消息的。
仓库地址(可点击阅读原文跳转):https://gitee.com/zhongfucheng/austin
我开通了股东服务内容,感兴趣可以点击下方看看,主要针对的是项目哟
VIP服务
标签:
抢先读
- 湖北发布灾害风险提示:雷暴大风天气来了,非必要不出行-每日资讯
- 热点在线丨辽宁省药品监督管理局注销1家公司《药品营许可证》
- 环球信息:股东知情权应该如何行使
- 世界微头条丨中国首家丽思卡尔顿隐世酒店开业
- 甘州区上秦镇中心学校举办第四届小学生诗词大会
- 为何一到夏季,结石却多发?可能存在这3点因素,劝你要避避开
- 永宁县新就业群体服务季正式启动
- 房屋拆迁纠纷诉讼时效是多久
- 鍥介檯娌逛环鏂欑粓缁撳懆绾夸簩杩炶穼锛屼骇娌瑰浗鏈熷緟涓浗涔伴渶鎵樺競
- 湖红之源:新化红茶“挑担茶叶上北京”_环球精选
- 贵阳邮政:打通大动脉 疏通微循环
- 金融街完成发行10亿元公司债券,票面利率为3.14% 焦点速读
- 当前速读:宸展光电:聘任徐可欣担任公司董事会秘书
- 环球头条:2023上海端午节游玩推荐景点有哪些?
- 信用卡现金转出有利息吗 怎么提前还|每日信息
- 安阳红旗渠机场飞行程序实地验证试飞成功
- 【环球聚看点】武磊梅开二度,国足4-0胜缅甸!
- 解剖屎山,寻觅黄金之第二弹
- 天天看热讯:国产GPU的第一缕光:自研架构“天狼星”在京亮相
- 2023年电子标签产业深度调研及发展趋势预测 今日报
- 个人原因离职申请书范文 全球播资讯
- 新烽光电启动IPO辅导,解决方案应用于智慧排水、智慧供水等_天天热点评
- 上汽大众、上通五菱回暖缓慢,谁来缓解上汽集团的产销焦虑? 环球讯息
- 【天天时快讯】股份公司和有限公司的区别?
- 天天精选!大运会火炬手姜志强:将大运精神延续至赛场外,助推数字经济发展
- 专题讲座连连看 扬州航务中心第二期扬帆讲堂开讲啦
- 2023粤港澳车展:极狐阿尔法S/T森林版上市 售价18.58万元起
- 谷歌为你准备了一个秘密的片魂复活节彩蛋 天天新要闻
- 京东白条,蚂蚁花呗本质就是信用卡,更方便,自从有了这两样,我信用卡都很少用了-视焦点讯
- 胜利监理(836665):拟10派0.6元,共派现1749.87万元_世界新视野
- 世界观天下!云从科技投资算力芯片企业奕斯伟计算,打通大模型生态闭环
- 16日北京将迎本轮高温峰值 最高气温预计39℃
- 资讯推荐:汽车下乡政策回顾:新能源汽车市场潜力巨大,代步型纯电+平价混动将成为主力产品
- 乌当区2023幼升小入学报名指南(对象+时间+入口+学区划片)_天天快资讯
- 杭州地铁公安公示“偷拍案”处罚信息,律师:有“羞辱性惩罚”和侵犯隐私之嫌_世界今头条
- 世界快讯:甘州区市场监管局西街市场监管所开展早夜市计量器具专项检查
- 公司邀请函
- 世界动态:停息挂账还收利息不?停息挂账之前的利息还需要吗?|天天速看
- 织唛机(织唛) 环球快资讯
- 邓清清 抖音(邓清清) 全球讯息
- 增设电梯陷“拉锯战”:电梯选址距自家仅1米,一楼业主不同意被起诉-天天观天下
- 梅西中国行,有哪些品牌搭上了“顺风车”?
- 世界播报:北京亦庄搭平台助企业共赴双碳之约
- 荣盛发展为5家全资子公司融资提供合计不超10.7亿元担保 环球今日讯
- 环球要闻:重症肌无力关爱日|全身渐渐无力,最终唤起心灵之力
- 世界快看点丨“流动的咨询台”——崇明海事局开展“安全宣传咨询日”活动
- 今日热闻!河南:强化监督执纪 筑牢南水北调工程安全“堤坝”
- 广东最新平均工资出炉!这些行业仍“吃香”→_天天新消息
- 每日视讯:2023南阳端午节游玩景点推荐
- 每日速看!6月FOMC会议点评:“留有余地”的暂停加息
- 600余场活动!30余万个岗位!重庆市“百日千万招聘专项行动”来了
- 天天速递!强观察|这些返回舱里的“神器”为航天员保驾护航
- 跨界布局储能领域!家电龙头获外资连买7日 当前播报
- 天马行空挥洒创意!《狂想乐园》今日上市! 世界速讯
- 高尔夫全锦赛:上海男队和陕西女队继续占据榜首
- 书从文:青海发生山体滑坡(已致5死2失联)
- 中煤国际工程集团武汉设计研究院(关于中煤国际工程集团武汉设计研究院的基本详情介绍)|全球快消息
- word里怎么打钢筋等级符号(钢筋等级符号) 新消息
- 石嘴山市气象台发布大风蓝色预警【IV级/一般】【2023-06-16】
- 司法重拳严惩性侵未成年人犯罪
- 陕西宝鸡:暖心服务助力小麦归仓-天天头条
- (聚焦中国高质量发展)以侨为桥 泉州优品“扬帆出海” 天天新资讯
- 北京朝阳区“阅读大运河”系列主题活动启幕 世界实时
- 发改委:研究部署加强居民增收工作 各地要加大稳就业工作力度-即时看
- 金融如何赋能“天府粮仓”建设?崇州这场发布会给出答案_观焦点
- 本周全国碳市场碳排放配额总成交额突破2700万元_全球即时
- “云”上逛房,福利多多,2023齐鲁(济南)夏季房展汇盛大启动-热门看点
- 天天看点:让安全走进社区!中原区首家“社区警校”开课啦
- 哈佛医学院丑闻曝光!太平间管理员倒卖遗体,6 人已被逮捕 天天速讯
- 又有券商被监管谈话!-最新资讯
- 沿江高铁武宜段步入“四电”施工阶段 环球快报
- 华商双翼平衡混合基金增设C份额
- 神州播报丨北京警方通报“球迷冲入球场拥抱梅西”事件:已行拘!12个月内不得进体育场馆看同类比赛
- 带你全面提升工作效率:B端设计规范攻略(三)
- 【世界新视野】南阳宛城区:“四美庭院”扮靓城市颜值
- 谷歌&凯度:2023年中国全球化品牌50强 比亚迪进入前十
- 世界今日讯!【透视】美知名媒体人称“世界上其他国家对中国的看法和美国不同”引发网友共鸣
- 市纪委监委下发通知严禁党员干部、公职人员违规操办“学子宴”“谢师宴” 天天热闻
- 当前热文:猝不及防!西安又一本土房企破产,买房人要警惕!
- 民航局:预计今年暑运每日有近195万旅客通过航空出行-讯息
- 福州一商店随便卖红牛被查:没有保健品售卖许可证_新资讯
- 批了!再添一所九年一贯制学校_全球动态
- 《射雕》演员太坎坷,孤独离世、酒店猝死、开煤气自杀,令人惋惜-速看料
- 6月16日内蒙时泰液化天然气价格动态 环球速读
- 速看:sony(lt26ii)
- 性价比神卡!盈通RX 6600显卡降至1399元:8GB显存
- 天天观察:诺安基金韩冬燕在管产品近1年业绩居同类前1%
- 环球聚焦:华尔街大银行裁员人数将超过1.1万人
- 俄罗斯经济学家:美国借债“成瘾”将危及全球经济复苏
- 贵阳市2023年学前教育宣传月宣讲活动在清镇举行_世界热闻
- 全球速讯:天天速递!信用卡停息挂账后逾期多久会被起诉?网贷逾期了暂时还不上怎么办?
- 通讯!夏夜和夜宵是绝配!餐饮消费催热“夏日夜经济”
- 全球热点!端午节临近 重庆手工现包粽子受热捧
- 下载音乐到U盘怎么下载mp3格式 下载音乐到u盘怎么下载 热点在线
- 葡萄酒怎做的?(葡萄酒怎么做的步骤) 微资讯
- 速看:2023乐华88度温泉乐园端午夜场特惠
- 土拍丨苏系房企成功摇号进京 保利击退石景山区“老地主”
- 韦伯以学术为志业的演讲基调是(韦伯)
- 《萌探》仙侠特辑,娜扎最美,刘令姿最敢,谢娜沾了赵丽颖的光_焦点速递
- 迎峰度夏又至 中国统调电厂存煤达历史新高