解剖屎山,寻觅黄金之第二弹|环球热推荐
大家好,我3y啊。由于去重逻辑重构了几次,好多股东直呼看不懂,于是我今天再安排一波对代码的解析吧。austin支持两种去重的类型:N分钟相同内容达到N次去重和一天内N次相同渠道频次去重。
在最开始,我的第一版实现是这样的:
(资料图片)
publicvoidduplication(TaskInfotaskInfo){//配置示例:{"contentDeduplication":{"num":1,"time":300},"frequencyDeduplication":{"num":5}}JSONObjectproperty=JSON.parseObject(config.getProperty(DEDUPLICATION_RULE_KEY,AustinConstant.APOLLO_DEFAULT_VALUE_JSON_OBJECT));JSONObjectcontentDeduplication=property.getJSONObject(CONTENT_DEDUPLICATION);JSONObjectfrequencyDeduplication=property.getJSONObject(FREQUENCY_DEDUPLICATION);//文案去重DeduplicationParamcontentParams=DeduplicationParam.builder().deduplicationTime(contentDeduplication.getLong(TIME)).countNum(contentDeduplication.getInteger(NUM)).taskInfo(taskInfo).anchorState(AnchorState.CONTENT_DEDUPLICATION).build();contentDeduplicationService.deduplication(contentParams);//运营总规则去重(一天内用户收到最多同一个渠道的消息次数)Longseconds=(DateUtil.endOfDay(newDate()).getTime()-DateUtil.current())/1000;DeduplicationParambusinessParams=DeduplicationParam.builder().deduplicationTime(seconds).countNum(frequencyDeduplication.getInteger(NUM)).taskInfo(taskInfo).anchorState(AnchorState.RULE_DEDUPLICATION).build();frequencyDeduplicationService.deduplication(businessParams);}
那时候很简单,基本主体逻辑都写在这个入口上了,应该都能看得懂。后来,群里滴滴哥表示这种代码不行,不能一眼看出来它干了什么。于是怒提了一波pull request重构了一版,入口是这样的:
publicvoidduplication(TaskInfotaskInfo){//配置样例:{"contentDeduplication":{"num":1,"time":300},"frequencyDeduplication":{"num":5}}Stringdeduplication=config.getProperty(DeduplicationConstants.DEDUPLICATION_RULE_KEY,AustinConstant.APOLLO_DEFAULT_VALUE_JSON_OBJECT);//去重DEDUPLICATION_LIST.forEach(key->{DeduplicationParamdeduplicationParam=builderFactory.select(key).build(deduplication,key);if(deduplicationParam!=null){deduplicationParam.setTaskInfo(taskInfo);DeduplicationServicededuplicationService=findService(key+SERVICE);deduplicationService.deduplication(deduplicationParam);}});}
我猜想他的思路就是把构建去重参数和选择具体的去重服务给封装起来了,在最外层的代码看起来就很简洁了。后来又跟他聊了下,他的设计思路是这样的:考虑到以后会有其他规则的去重就把去重逻辑单独封装起来了,之后用策略模版的设计模式进行了重构,重构后的代码 模版不变,支持各种不同策略的去重,扩展性更高更强更简洁
确实牛逼。
我基于上面的思路微改了下入口,代码最终演变成这样:
publicvoidduplication(TaskInfotaskInfo){//配置样例:{"deduplication_10":{"num":1,"time":300},"deduplication_20":{"num":5}}StringdeduplicationConfig=config.getProperty(DEDUPLICATION_RULE_KEY,CommonConstant.EMPTY_JSON_OBJECT);//去重ListdeduplicationList=DeduplicationType.getDeduplicationList();for(IntegerdeduplicationType:deduplicationList){DeduplicationParamdeduplicationParam=deduplicationHolder.selectBuilder(deduplicationType).build(deduplicationConfig,taskInfo);if(Objects.nonNull(deduplicationParam)){deduplicationHolder.selectService(deduplicationType).deduplication(deduplicationParam);}}}
到这,应该大多数人还能跟上吧?在讲具体的代码之前,我们先来简单看看去重功能的代码结构(这会对后面看代码有帮助)
去重的逻辑可以统一抽象为:在X时间段内达到了Y阈值,还记得我曾经说过:「去重」的本质:「业务Key」+「存储」。那么去重实现的步骤可以简单分为(我这边存储就用的Redis):
通过Key从Redis获取记录判断该Key在Redis的记录是否符合条件符合条件的则去重,不符合条件的则重新塞进Redis更新记录为了方便调整去重的参数,我把X时间段和Y阈值都放到了配置里{"deduplication_10":{"num":1,"time":300},"deduplication_20":{"num":5}}。目前有两种去重的具体实现:
1、5分钟内相同用户如果收到相同的内容,则应该被过滤掉
2、一天内相同的用户如果已经收到某渠道内容5次,则应该被过滤掉
从配置中心拿到配置信息了以后,Builder就是根据这两种类型去构建出DeduplicationParam,就是以下代码:
DeduplicationParamdeduplicationParam=deduplicationHolder.selectBuilder(deduplicationType).build(deduplicationConfig,taskInfo);
Builder和DeduplicationService都用了类似的写法(在子类初始化的时候指定类型,在父类统一接收,放到Map里管理)
而统一管理着这些服务有个中心的地方,我把这取名为DeduplicationHolder
/***@authorhuskey*@date2022/1/18*/@ServicepublicclassDeduplicationHolder{privatefinalMapbuilderHolder=newHashMap<>(4);privatefinalMap serviceHolder=newHashMap<>(4);publicBuilderselectBuilder(Integerkey){returnbuilderHolder.get(key);}publicDeduplicationServiceselectService(Integerkey){returnserviceHolder.get(key);}publicvoidputBuilder(Integerkey,Builderbuilder){builderHolder.put(key,builder);}publicvoidputService(Integerkey,DeduplicationServiceservice){serviceHolder.put(key,service);}}
前面提到的业务Key,是在AbstractDeduplicationService的子类下构建的:
而具体的去重逻辑实现则都在LimitService下,{一天内相同的用户如果已经收到某渠道内容5次}是在SimpleLimitService中处理使用mget和pipelineSetEX就完成了实现。而{5分钟内相同用户如果收到相同的内容}是在SlideWindowLimitService中处理,使用了lua脚本完成了实现。
LimitService的代码都来源于@caolongxiu的pull request,建议大家可以对比commit再学习一番:https://gitee.com/zhongfucheng/austin/pulls/19
1、频次去重采用普通的计数去重方法,限制的是每天发送的条数。
2、内容去重采用的是新开发的基于redis中zset的滑动窗口去重,可以做到严格控制单位时间内的频次。
3、redis使用lua脚本来保证原子性和减少网络io的损耗
4、redis的key增加前缀做到数据隔离(后期可能有动态更换去重方法的需求)
5、把具体限流去重方法从DeduplicationService抽取出来,DeduplicationService只需设置构造器注入时注入的AbstractLimitService(具体限流去重服务)类型即可动态更换去重的方法 6、使用雪花算法生成zset的唯一value,score使用的是当前的时间戳
针对滑动窗口去重,有会引申出新的问题:limit.lua的逻辑?为什么要移除时间窗口的之前的数据?为什么ARGV[4]参数要唯一?为什么要expire?
A: 使用滑动窗口可以保证N分钟达到N次进行去重。滑动窗口可以回顾下TCP的,也可以回顾下刷LeetCode时的一些题,那这为什么要移除,就不陌生了。
为什么ARGV[4]要唯一,具体可以看看zadd这条命令,我们只需要保证每次add进窗口内的成员是唯一的,那么就不会触发有更新的操作(我认为这样设计会更加简单些),而唯一Key用雪花算法比较方便。
为什么expire?,如果这个key只被调用一次。那就很有可能在redis内存常驻了,expire能避免这种情况。
推荐项目最后再叨叨吧,很多人可能会发一段截图,跑来问我为什么要这样写,为什么要以这种方式实现,能不能以这种方式实现。这时候,我更想看到的是:你已经实现了第二种方式了,然后探讨你写的这种方案好不好,现有的代码差在哪里。
毕竟问问题很简单,我又不是客服,总不能没诚意的问题我都得一一回答吧。
如果想学Java项目的,我还是强烈推荐我的开源项目消息推送平台Austin,可以用作毕业设计,可以用作校招,可以看看生产环境是怎么推送消息的。
仓库地址(可点击阅读原文跳转):https://gitee.com/zhongfucheng/austin
我开通了股东服务内容,感兴趣可以点击下方看看,主要针对的是项目哟
VIP服务
标签:
抢先读
- 郑州金水区金冠美寓周围有学校吗?附地址 世界观热点
- 环球速讯:牵手苏宁:平晓黎的这步棋能“盘活”百度优选吗?
- 5位“新星”即将登陆CBA,三大核心降临背后,辽粤迎来接班人_焦点热闻
- 德约科维奇成为网坛GOAT,费德勒怎么看?诺瓦克还能继续创造历史-聚看点
- 山庄名字怎么取 山庄名字怎么取有意境 世界观察
- 全球要闻:三星平板型号参数大全
- 湿疹护理比治疗更重要吗?
- 最新!丽水市中小学暑假时间定了
- 全球新动态:淡化痘印用什么药膏最见效?祛痘产品排行榜10强!
- 天天视点!“鸡蛋荒”让人造蛋在日本受关注
- 医美消费复苏 医美分期公司服务费、贴息式砍头息屡见不鲜_热议
- 漫威班纳博士将继续留在复联,并且还当上了老师?_新动态
- 飞利浦电视投屏设置在哪里 天天快消息
- 环球时讯:刘芳菲为被川大张薇霸凌的同学发文,网友却说她纯粹就是蹭流量
- 英镑/美元行情综述(2023年6月16日)|新消息
- 最新70城房价出炉!郑州二手房价格同比下降4.6% 世界热文
- 厚度符号在电脑上怎么打出来_厚度符号
- 速读:耶稣为什么被控告
- 铁皮石斛粉一斤多少钱(铁皮石斛粉的功效与作用)
- (聚焦海峡论坛)吟唱诗词传家风 两岸共扬中华文化
- 汕头举办防台防汛应急演练 世界动态
- 外交部:布林肯访华期间,中方将阐明对中美关系的立场和关切_天天聚看点
- 全球看热讯:选择大城市逐梦还是小城市安稳
- 环球热讯:上海一外卖骑手被交警追车后发生车祸致死?上海警方:谣言!实为交警救助受伤骑手
- 世界热点评!广西桂林市举办2023年“世界认可日”活动
- 今日看点:小米移动网上营业厅官网全方位解析
- 下周端午!这份高铁短途“逛吃”攻略请查收
- 千只鸭子大军给水稻除草 网友:冲鸭!
- 俄外交部警告:西方国家欲通过数字独裁实现全球霸权 每日看点
- 专家面对面答疑 陕西12355高考志愿填报服务开启|今日精选
- 现在流行“上长下短”造型,学杨紫用西装配短裤,显高又时髦
- 股票行情快报:雷柏科技(002577)6月16日主力资金净卖出805.89万元
- 环球头条:冲入球场拥抱梅西的小伙,把它带火了……
- 长沙失业金领取条件及标准2023 具体情况如下
- 全球观速讯丨黑河:爱辉区瑷珲镇大棚养蚂蚱 “蹦”出致富路
- 祝学生中考加油的句子有哪些 快播报
- 2018黑龙江预科班有哪些学校考生省大专业 每日速看
- 国家海洋环境监测中心与香港环境保护署签署《关于开展海洋生态环境保护工作的合作安排》
- 武磊闪转腾挪破门!国足3-0领先缅甸
- 四川的人间“天堂”,从成都开车4小时,景美如仙境,人还特别少|每日热文
- 聚胶股份跌3.81%创新低 去年上市超募4.8亿元-天天热消息
- 国资物企开始割肉了|天天新消息
- 投资平稳增长,服务业回升向好 1-5月杭州经济运行延续恢复态势 世界快报
- 环球百事通!二级建造师安全教育_二级建造师安全员b证考试时间
- 湖南今起三天迎强降雨过程 长沙常德等地有暴雨
- 云南勐绿高速建设顺利推进 实现首个标段双幅贯通 热讯
- 青海油田68年累计生产油气当量超过1.5亿吨-焦点速读
- 对肥皂过敏怎么办,肥皂过敏症状及治疗方法
- 统计数据里的楼市倒春寒
- 世界报道:肥西经开区开展安全生产月“咨询日”活动
- 米体:曼联对特奥感兴趣,米兰要价至少6000万欧 世界今亮点
- 苹果手机6s Plus多少钱一台?看看市场行情分析
- 要闻:青岛市市南区金门路街道职工巧手剪纸迎端午
- 天天热门:长城汽车申请GPT相关商标
- 2023年芜湖古城端午假期皖南板龙灯展演时间及地点-环球视讯
- CSGO开箱多少钱一个?csgo开箱必须花钱吗? 世界焦点
- 环球微头条丨祝儿子生日的俏皮句子 祝福儿子生日精辟短句
- 热讯:陈雨菲晋级四强!2大劲敌相继出局,国羽“一姐”迎夺冠良机
- 长沙市公共卫生救治中心一期预计年底完工交付-全球即时
- 芦荟有哪些作用?|全球快播
- 梦天木门有哪几个系列_梦天木门的优缺点是什么
- 韩媒评论:日本排了核污水,也丢了良心
- 解剖屎山,寻觅黄金之第二弹|环球热推荐
- 领克09亚运行政五座版上市 售价28.99万元
- CBA3消息!姚明解释郭艾伦无缘中国男篮 辽宁队顶薪续约夺冠功勋
- 技塑股份股东赵新春拟以特定事项协议转让的方式将其直接持有的553.27万股公司股份转让给汪品洋
- 迪士尼可以带防晒喷雾吗 上海迪士尼穿衣的禁忌有哪些 全球微资讯
- 五部门:强化脱贫地区和脱贫人口金融支持|简讯
- 观察:迈入1500米超深水时代 “深海一号”助力我国端牢能源饭碗
- 一夜3队阵容动态!马刺确选文班,雄鹿挽留二将,快船给威少画饼
- 天天资讯:上林油菜花田游玩攻略(上林县油菜花景点)
- 官宣!常州入梅时间定了-当前视讯
- 党争闹剧!美国得州将数万非法移民运往外地 招致强烈谴责|最新
- 2023年非上海生源高校应届生进沪就业工作已启动!嘉定新城用人单位看过来
- 安全狗云原生安全联防联抗策略告别冗长流量自学习
- C视频|52.5米、地下17层楼高!记者探访成都在建最深基坑开挖见底 全球最资讯
- 女孩有意义名字(女孩名字有意义的字) 天天观点
- 金科股份: 关于存续债务融资工具相关事项的公告|天天时讯
- 【天天时快讯】《阿凡达:重返潘多拉》手游测试招募开始
- 信安世纪: 关于支付现金及发行股份购买资产标的资产过户完成公告 当前滚动
- 全球今日讯!长沙市公共卫生救治中心一期预计年底完工交付
- 江苏省仪征市市场监管局提前部署守护中考食品安全
- 聚焦新市民、年轻人,多地出台公积金新政|今日报
- 360免费wifi怎么用 是不是还要买那个360随身wifi
- 全球微头条丨2023精密仪器行业市场规模及未来发展方向分析
- 珈伟新能源股份有限公司与中国电建集团贵州工程有限公司举行新能源业务战略签约仪式
- “摇一摇”摇来诈骗犯
- 中国电商企业在西宁联合发布电子商务绿色发展倡议|世界时快讯
- 你每天洗脸都对了吗?正确洗脸方式是什么?
- 沪考欣语|强军报国正当时
- 资讯:中国民航复苏有望进一步加快
- 重庆美仑美奂医院隆鼻怎么样 看医生实力就知道-世界热资讯
- 全球今亮点!力勤资源(02245.HK):RKEF项目一期八条生产线均成功投产
- 新资讯:闺蜜是什么意思啊闺蜜意思简述
- 当前短讯!在不在今天?赛前解说一致看好TES击败LGD
- 中使馆:菲律宾发生6.2级地震 暂无中国公民伤亡报告
- 晶科能源与中国能建高层会谈,拟全面深化战略合作_环球播报
- 【天天速看料】大电池+超清影像 vivo Y35+陪你解锁夏日新体验
- 国内塑料管材行业发展分析 塑料管材市场供需状况2023
- 李一男造车梦“复活”自由家NV换标大乘V07已通过工信部申报 全球焦点