热点!解剖屎山,寻觅黄金之第二弹
大家好,我3y啊。由于去重逻辑重构了几次,好多股东直呼看不懂,于是我今天再安排一波对代码的解析吧。austin支持两种去重的类型:N分钟相同内容达到N次去重和一天内N次相同渠道频次去重。
在最开始,我的第一版实现是这样的:
publicvoidduplication(TaskInfotaskInfo){//配置示例:{"contentDeduplication":{"num":1,"time":300},"frequencyDeduplication":{"num":5}}JSONObjectproperty=JSON.parseObject(config.getProperty(DEDUPLICATION_RULE_KEY,AustinConstant.APOLLO_DEFAULT_VALUE_JSON_OBJECT));JSONObjectcontentDeduplication=property.getJSONObject(CONTENT_DEDUPLICATION);JSONObjectfrequencyDeduplication=property.getJSONObject(FREQUENCY_DEDUPLICATION);//文案去重DeduplicationParamcontentParams=DeduplicationParam.builder().deduplicationTime(contentDeduplication.getLong(TIME)).countNum(contentDeduplication.getInteger(NUM)).taskInfo(taskInfo).anchorState(AnchorState.CONTENT_DEDUPLICATION).build();contentDeduplicationService.deduplication(contentParams);//运营总规则去重(一天内用户收到最多同一个渠道的消息次数)Longseconds=(DateUtil.endOfDay(newDate()).getTime()-DateUtil.current())/1000;DeduplicationParambusinessParams=DeduplicationParam.builder().deduplicationTime(seconds).countNum(frequencyDeduplication.getInteger(NUM)).taskInfo(taskInfo).anchorState(AnchorState.RULE_DEDUPLICATION).build();frequencyDeduplicationService.deduplication(businessParams);}
(资料图)
那时候很简单,基本主体逻辑都写在这个入口上了,应该都能看得懂。后来,群里滴滴哥表示这种代码不行,不能一眼看出来它干了什么。于是怒提了一波pull request重构了一版,入口是这样的:
publicvoidduplication(TaskInfotaskInfo){//配置样例:{"contentDeduplication":{"num":1,"time":300},"frequencyDeduplication":{"num":5}}Stringdeduplication=config.getProperty(DeduplicationConstants.DEDUPLICATION_RULE_KEY,AustinConstant.APOLLO_DEFAULT_VALUE_JSON_OBJECT);//去重DEDUPLICATION_LIST.forEach(key->{DeduplicationParamdeduplicationParam=builderFactory.select(key).build(deduplication,key);if(deduplicationParam!=null){deduplicationParam.setTaskInfo(taskInfo);DeduplicationServicededuplicationService=findService(key+SERVICE);deduplicationService.deduplication(deduplicationParam);}});}
我猜想他的思路就是把构建去重参数和选择具体的去重服务给封装起来了,在最外层的代码看起来就很简洁了。后来又跟他聊了下,他的设计思路是这样的:考虑到以后会有其他规则的去重就把去重逻辑单独封装起来了,之后用策略模版的设计模式进行了重构,重构后的代码 模版不变,支持各种不同策略的去重,扩展性更高更强更简洁
确实牛逼。
我基于上面的思路微改了下入口,代码最终演变成这样:
publicvoidduplication(TaskInfotaskInfo){//配置样例:{"deduplication_10":{"num":1,"time":300},"deduplication_20":{"num":5}}StringdeduplicationConfig=config.getProperty(DEDUPLICATION_RULE_KEY,CommonConstant.EMPTY_JSON_OBJECT);//去重ListdeduplicationList=DeduplicationType.getDeduplicationList();for(IntegerdeduplicationType:deduplicationList){DeduplicationParamdeduplicationParam=deduplicationHolder.selectBuilder(deduplicationType).build(deduplicationConfig,taskInfo);if(Objects.nonNull(deduplicationParam)){deduplicationHolder.selectService(deduplicationType).deduplication(deduplicationParam);}}}
到这,应该大多数人还能跟上吧?在讲具体的代码之前,我们先来简单看看去重功能的代码结构(这会对后面看代码有帮助)
去重的逻辑可以统一抽象为:在X时间段内达到了Y阈值,还记得我曾经说过:「去重」的本质:「业务Key」+「存储」。那么去重实现的步骤可以简单分为(我这边存储就用的Redis):
通过Key从Redis获取记录判断该Key在Redis的记录是否符合条件符合条件的则去重,不符合条件的则重新塞进Redis更新记录为了方便调整去重的参数,我把X时间段和Y阈值都放到了配置里{"deduplication_10":{"num":1,"time":300},"deduplication_20":{"num":5}}。目前有两种去重的具体实现:
1、5分钟内相同用户如果收到相同的内容,则应该被过滤掉
2、一天内相同的用户如果已经收到某渠道内容5次,则应该被过滤掉
从配置中心拿到配置信息了以后,Builder就是根据这两种类型去构建出DeduplicationParam,就是以下代码:
DeduplicationParamdeduplicationParam=deduplicationHolder.selectBuilder(deduplicationType).build(deduplicationConfig,taskInfo);
Builder和DeduplicationService都用了类似的写法(在子类初始化的时候指定类型,在父类统一接收,放到Map里管理)
而统一管理着这些服务有个中心的地方,我把这取名为DeduplicationHolder
/***@authorhuskey*@date2022/1/18*/@ServicepublicclassDeduplicationHolder{privatefinalMapbuilderHolder=newHashMap<>(4);privatefinalMap serviceHolder=newHashMap<>(4);publicBuilderselectBuilder(Integerkey){returnbuilderHolder.get(key);}publicDeduplicationServiceselectService(Integerkey){returnserviceHolder.get(key);}publicvoidputBuilder(Integerkey,Builderbuilder){builderHolder.put(key,builder);}publicvoidputService(Integerkey,DeduplicationServiceservice){serviceHolder.put(key,service);}}
前面提到的业务Key,是在AbstractDeduplicationService的子类下构建的:
而具体的去重逻辑实现则都在LimitService下,{一天内相同的用户如果已经收到某渠道内容5次}是在SimpleLimitService中处理使用mget和pipelineSetEX就完成了实现。而{5分钟内相同用户如果收到相同的内容}是在SlideWindowLimitService中处理,使用了lua脚本完成了实现。
LimitService的代码都来源于@caolongxiu的pull request,建议大家可以对比commit再学习一番:https://gitee.com/zhongfucheng/austin/pulls/19
1、频次去重采用普通的计数去重方法,限制的是每天发送的条数。
2、内容去重采用的是新开发的基于redis中zset的滑动窗口去重,可以做到严格控制单位时间内的频次。
3、redis使用lua脚本来保证原子性和减少网络io的损耗
4、redis的key增加前缀做到数据隔离(后期可能有动态更换去重方法的需求)
5、把具体限流去重方法从DeduplicationService抽取出来,DeduplicationService只需设置构造器注入时注入的AbstractLimitService(具体限流去重服务)类型即可动态更换去重的方法 6、使用雪花算法生成zset的唯一value,score使用的是当前的时间戳
针对滑动窗口去重,有会引申出新的问题:limit.lua的逻辑?为什么要移除时间窗口的之前的数据?为什么ARGV[4]参数要唯一?为什么要expire?
A: 使用滑动窗口可以保证N分钟达到N次进行去重。滑动窗口可以回顾下TCP的,也可以回顾下刷LeetCode时的一些题,那这为什么要移除,就不陌生了。
为什么ARGV[4]要唯一,具体可以看看zadd这条命令,我们只需要保证每次add进窗口内的成员是唯一的,那么就不会触发有更新的操作(我认为这样设计会更加简单些),而唯一Key用雪花算法比较方便。
为什么expire?,如果这个key只被调用一次。那就很有可能在redis内存常驻了,expire能避免这种情况。
推荐项目最后再叨叨吧,很多人可能会发一段截图,跑来问我为什么要这样写,为什么要以这种方式实现,能不能以这种方式实现。这时候,我更想看到的是:你已经实现了第二种方式了,然后探讨你写的这种方案好不好,现有的代码差在哪里。
毕竟问问题很简单,我又不是客服,总不能没诚意的问题我都得一一回答吧。
如果想学Java项目的,我还是强烈推荐我的开源项目消息推送平台Austin,可以用作毕业设计,可以用作校招,可以看看生产环境是怎么推送消息的。
仓库地址(可点击阅读原文跳转):https://gitee.com/zhongfucheng/austin
我开通了股东服务内容,感兴趣可以点击下方看看,主要针对的是项目哟
VIP服务
标签:
抢先读
- 热点!解剖屎山,寻觅黄金之第二弹
- 红酒最佳伴侣是指什么? 世界速读
- 阿里P9下岗再就业 世界百事通
- 环球简讯:吢丕的另一个情侣网名(吢)
- 中国合格评定体系互认范围覆盖全球经济总量95%以上的经济体|每日精选
- 世界播报:固体药品存放在什么里使用固体药品一边用(固体药品存放在)
- 环球最新:发繁体 满江红(发繁体)
- 微笑小香香在哪里看(微笑小香香)-世界看热讯
- 每日热门:北京德云社地址门票(北京德云社地址)
- 全球实时:傅雷家书1954年读后感70字(傅雷家书1954年读后感)
- 明确的近义词是什么词(明确的近义词是什么) 今日报
- 天天新动态:是的英文单词怎么写(是的英文单词)
- 虞书欣方否认与吴建豪恋情:不再陷入自证危机
- 世界观速讯丨奥运会运动项目简笔画(奥运会运动项目)
- 【全球新视野】桃花寓意和象征意义 祝福语(桃花寓意和象征意义)
- 《有利的诈欺》绿叶抢眼,尹博再次伙拍金东旭斗戏 环球热头条
- 动画电影《疯狂小世界》金日全国影院点映,本周末全国点映
- 低密度脂蛋白偏高的原因及危害有哪些(低密度脂蛋白偏高的原因及危害)
- 全球百事通!上海海港排名榜首,主教练为何被喊下课?
- 2023世界动力电池大会在宜宾开幕
- 数字化是方向——打造数字孪生是谋划县乡发展的现实契机(十九)|焦点播报
- 学制苗族银饰 传承非遗之美
- 世界热议:善待“大姨妈”,就是善待自己,这些食物经期就别再吃了
- 考生用分数投出来的电气工程专业排名,你觉得对吗?
- “这些空姐,立即停飞!”网友怒了 要闻速递
- 合同的字体要求以及格式 合同的格式字体_天天最新
- 头狼:黄金下周1970-73区域布局空|环球报资讯
- 实时焦点:取四朵用石蕊溶液染成紫色的纸花(取四朵用石蕊溶液)
- 世界即时:李少红刘斯逸胡先煦亮相上影节开幕红毯,9月9日看《三贵情史》寻真爱破诅咒
- 当前快看:繁花嫩叶的意思在《春》(繁花嫩叶的意思)
- 口腔材料app(口腔材料网)
- 精彩看点:《仙剑三》翻拍:情怀有多不值钱?
- 环球观速讯丨重温《蓝色生死恋》才懂,死去,才是恩熙无望人生的救赎和圆满
- 二十碳五烯酸需求量(二十碳五烯酸)
- 莫扎特的一句话(关于莫扎特的话例如说他天真)
- 京东几天到货河北(京东一般几天到货)
- 《坏妈妈》大结局,李到晛&安恩真求婚合照超甜|环球观察
- 世界短讯!手机系统清理软件哪个好(系统清理软件哪个好)
- 法网综合 | 阿尔卡拉斯意外抽筋 焦科维奇晋级决赛
- geya手表怎么调日期视频教程(geya手表)
- 长三角跨境电商交易会上演采与供的双向奔赴-全球即时看
- 贵州发现国家重点保护野生植物圆叶天女花
- 确认行政行为违法的起诉期限是怎么规定的
- 每日讯息!公司停车费计入什么科目(车费计入什么科目)
- 下个月,三大属相得到偏财神指路,福禄寿财星纷纷前来!
- 七月桃花香,旧爱回头忙,死灰复燃不是梦,真爱一生永相随的星座
- 【全球热闻】街头瓜果飘香 邕城盛夏“风景诱人”
- 视焦点讯!生态环境好,好经济来“落脚”
- 计划今年完成4座,浦东“十四五”期间将改造16座环上公园-环球热讯
- 每日热文:秋冬想要曼妙的身材,让三木教你用一条腰带来提升气质,时髦高级
- 朋友晚上10点被警察带走,警察也没有出示任何证件,说要问点事情-速看
- 国内首条“丝路海运”电商快线开通首年进出口破100亿
- 国际锐评丨剥开美英澳的层层“核谋”|环球简讯
- 1000万元家电补贴!先报名再现场选购,报名截至6月17日!2023齐鲁工惠·三源家电“家电惠工”活动启动
- 橡胶走势解析 天天微头条
- 深度解读 Vision Pro:苹果在发布会上没说的 18 个细节-全球资讯
- 曾经狂奔的蓝月亮有些跑不动了?
- 最新:恭喜!香港知名女星宣布二胎产子,富豪丈夫抱着儿子像抱着孙子
- 上海数据交易所“数商生态”服务平台上线 加快培育数商发展
- 美国一列车脱轨,23节车厢严重损毁-世界通讯
- 一无人机在俄罗斯沃罗涅日州坠毁 3人受伤,楼房受损 当前消息
- 马英九邀大陆生7月访台遭阻挡? 她提1事喊“蔡英文怕了”
- 深圳一大学摘10万斤荔枝请全校免费吃 网友称这才是最好的招生简章
- 北京通州区与廊坊北三县294项涉企政务服务实现区域通办
- 环球通讯!全自动马桶水箱盖怎么打开(马桶水箱盖怎么打开)
- 电影《灌篮高手》官宣再次延长上映至7月19日 实时票房高达6.48亿元
- 俄方再次呼吁对“北溪”管道爆炸进行公开透明的国际调查-当前时讯
- 《三伏》最新定档预告公布 为中式悬疑惊悚解谜游戏
- 世界实时:美国前总统特朗普面临37项指控
- 广汽埃安副总经理:原来车厂不是为电池厂打工 而是为材料厂打工且还是打长工
- 2023年青岛市新时代文明实践集体婚礼举行 共同倡树新型婚庆新风
- 【环球报资讯】学制苗族银饰 传承非遗之美
- “文根”何以“深种”?看文博会如何寻找岭南新坐标 天天精选
- 环球简讯:2023重庆车展:阿维塔发布ADS高阶功能包订阅 将于6月30开启
- 今日热讯:申万宏源:下周MLF利率是否调整将影响短期汇率走势
- 数字化是方向——打造数字孪生是谋划县乡发展的现实契机(十九)
- 国产大飞机C919的16年“飞天路” 热点聚焦
- 第七史诗不凋零的回忆有什么用 获取方法介绍 最新
- 今年,水果为什么成了涨价之王?
- 天天观天下!93总决赛乔丹场均41分NBA历史最高,当时巴克利、皮蓬什么数据?
- 之江实验室发表研究成果 用计算模型理解大脑视觉机制
- 今日热门!拍卖史上最大红宝石拍出 约合2.48亿,创下同类宝石的最高拍卖价格纪录
- 美国亚裔高考近满分被六大名校拒绝 怎么回事?
- 苹果、亚马逊涉嫌串通垄断iPhone定价,美国法官裁定消费者可起诉
- 何处招魂香草还生三户地说的是谁(何处招魂香草还生三户地)_视讯
- 世界热推荐:3800亩土地商改工、商改绿 顺德容桂“让利”400亿支持制造业
- 海南招286人!2023军校招生计划公布
- 刚子哥(刚子)|全球速看料
- 当前焦点!相术小说神作(相术小说)
- 【全球新要闻】蜀中有杜处士好书画的翻译(蜀中有杜处士好书画所宝以百数翻译)
- 环球速看:柳岩的衣服真“挤”,一袭抹胸连衣裙高级时髦,大方展现曼妙身姿
- 今日报丨坚守“可靠”坦克Hi4-T 当下新能源越野的更优解
- 全球看热讯:白宫再抛“橄榄枝”、竞争对手接连“投诚”,特斯拉充电有望“一统北美”
- 最资讯丨日本羽田机场两架飞机疑似发生碰撞
- 这些大胆的古早综艺,真的是不付费就能看的吗?_视讯
- 市场复苏后 旅游企业们缓过劲了吗?_世界视点
- 沙区举办首届创意美食购物节 邀市民品尝美食盛宴-环球快报
- 周末重磅!李云泽最新发声 要求用心用力支持实体经济!|天天观速讯
- 证监会就公募基金投顾业务管理规定公开征求意见 环球时快讯
- 国家乡村振兴局开展农村厕所革命“提质年”