解剖屎山,寻觅黄金之第二弹_全球滚动
大家好,我3y啊。由于去重逻辑重构了几次,好多股东直呼看不懂,于是我今天再安排一波对代码的解析吧。austin支持两种去重的类型:N分钟相同内容达到N次去重和一天内N次相同渠道频次去重。
(资料图片仅供参考)
在最开始,我的第一版实现是这样的:
publicvoidduplication(TaskInfotaskInfo){//配置示例:{"contentDeduplication":{"num":1,"time":300},"frequencyDeduplication":{"num":5}}JSONObjectproperty=JSON.parseObject(config.getProperty(DEDUPLICATION_RULE_KEY,AustinConstant.APOLLO_DEFAULT_VALUE_JSON_OBJECT));JSONObjectcontentDeduplication=property.getJSONObject(CONTENT_DEDUPLICATION);JSONObjectfrequencyDeduplication=property.getJSONObject(FREQUENCY_DEDUPLICATION);//文案去重DeduplicationParamcontentParams=DeduplicationParam.builder().deduplicationTime(contentDeduplication.getLong(TIME)).countNum(contentDeduplication.getInteger(NUM)).taskInfo(taskInfo).anchorState(AnchorState.CONTENT_DEDUPLICATION).build();contentDeduplicationService.deduplication(contentParams);//运营总规则去重(一天内用户收到最多同一个渠道的消息次数)Longseconds=(DateUtil.endOfDay(newDate()).getTime()-DateUtil.current())/1000;DeduplicationParambusinessParams=DeduplicationParam.builder().deduplicationTime(seconds).countNum(frequencyDeduplication.getInteger(NUM)).taskInfo(taskInfo).anchorState(AnchorState.RULE_DEDUPLICATION).build();frequencyDeduplicationService.deduplication(businessParams);}
那时候很简单,基本主体逻辑都写在这个入口上了,应该都能看得懂。后来,群里滴滴哥表示这种代码不行,不能一眼看出来它干了什么。于是怒提了一波pull request重构了一版,入口是这样的:
publicvoidduplication(TaskInfotaskInfo){//配置样例:{"contentDeduplication":{"num":1,"time":300},"frequencyDeduplication":{"num":5}}Stringdeduplication=config.getProperty(DeduplicationConstants.DEDUPLICATION_RULE_KEY,AustinConstant.APOLLO_DEFAULT_VALUE_JSON_OBJECT);//去重DEDUPLICATION_LIST.forEach(key->{DeduplicationParamdeduplicationParam=builderFactory.select(key).build(deduplication,key);if(deduplicationParam!=null){deduplicationParam.setTaskInfo(taskInfo);DeduplicationServicededuplicationService=findService(key+SERVICE);deduplicationService.deduplication(deduplicationParam);}});}
我猜想他的思路就是把构建去重参数和选择具体的去重服务给封装起来了,在最外层的代码看起来就很简洁了。后来又跟他聊了下,他的设计思路是这样的:考虑到以后会有其他规则的去重就把去重逻辑单独封装起来了,之后用策略模版的设计模式进行了重构,重构后的代码 模版不变,支持各种不同策略的去重,扩展性更高更强更简洁
确实牛逼。
我基于上面的思路微改了下入口,代码最终演变成这样:
publicvoidduplication(TaskInfotaskInfo){//配置样例:{"deduplication_10":{"num":1,"time":300},"deduplication_20":{"num":5}}StringdeduplicationConfig=config.getProperty(DEDUPLICATION_RULE_KEY,CommonConstant.EMPTY_JSON_OBJECT);//去重ListdeduplicationList=DeduplicationType.getDeduplicationList();for(IntegerdeduplicationType:deduplicationList){DeduplicationParamdeduplicationParam=deduplicationHolder.selectBuilder(deduplicationType).build(deduplicationConfig,taskInfo);if(Objects.nonNull(deduplicationParam)){deduplicationHolder.selectService(deduplicationType).deduplication(deduplicationParam);}}}
到这,应该大多数人还能跟上吧?在讲具体的代码之前,我们先来简单看看去重功能的代码结构(这会对后面看代码有帮助)
去重的逻辑可以统一抽象为:在X时间段内达到了Y阈值,还记得我曾经说过:「去重」的本质:「业务Key」+「存储」。那么去重实现的步骤可以简单分为(我这边存储就用的Redis):
通过Key从Redis获取记录判断该Key在Redis的记录是否符合条件符合条件的则去重,不符合条件的则重新塞进Redis更新记录为了方便调整去重的参数,我把X时间段和Y阈值都放到了配置里{"deduplication_10":{"num":1,"time":300},"deduplication_20":{"num":5}}。目前有两种去重的具体实现:
1、5分钟内相同用户如果收到相同的内容,则应该被过滤掉
2、一天内相同的用户如果已经收到某渠道内容5次,则应该被过滤掉
从配置中心拿到配置信息了以后,Builder就是根据这两种类型去构建出DeduplicationParam,就是以下代码:
DeduplicationParamdeduplicationParam=deduplicationHolder.selectBuilder(deduplicationType).build(deduplicationConfig,taskInfo);
Builder和DeduplicationService都用了类似的写法(在子类初始化的时候指定类型,在父类统一接收,放到Map里管理)
而统一管理着这些服务有个中心的地方,我把这取名为DeduplicationHolder
/***@authorhuskey*@date2022/1/18*/@ServicepublicclassDeduplicationHolder{privatefinalMapbuilderHolder=newHashMap<>(4);privatefinalMap serviceHolder=newHashMap<>(4);publicBuilderselectBuilder(Integerkey){returnbuilderHolder.get(key);}publicDeduplicationServiceselectService(Integerkey){returnserviceHolder.get(key);}publicvoidputBuilder(Integerkey,Builderbuilder){builderHolder.put(key,builder);}publicvoidputService(Integerkey,DeduplicationServiceservice){serviceHolder.put(key,service);}}
前面提到的业务Key,是在AbstractDeduplicationService的子类下构建的:
而具体的去重逻辑实现则都在LimitService下,{一天内相同的用户如果已经收到某渠道内容5次}是在SimpleLimitService中处理使用mget和pipelineSetEX就完成了实现。而{5分钟内相同用户如果收到相同的内容}是在SlideWindowLimitService中处理,使用了lua脚本完成了实现。
LimitService的代码都来源于@caolongxiu的pull request,建议大家可以对比commit再学习一番:https://gitee.com/zhongfucheng/austin/pulls/19
1、频次去重采用普通的计数去重方法,限制的是每天发送的条数。
2、内容去重采用的是新开发的基于redis中zset的滑动窗口去重,可以做到严格控制单位时间内的频次。
3、redis使用lua脚本来保证原子性和减少网络io的损耗
4、redis的key增加前缀做到数据隔离(后期可能有动态更换去重方法的需求)
5、把具体限流去重方法从DeduplicationService抽取出来,DeduplicationService只需设置构造器注入时注入的AbstractLimitService(具体限流去重服务)类型即可动态更换去重的方法 6、使用雪花算法生成zset的唯一value,score使用的是当前的时间戳
针对滑动窗口去重,有会引申出新的问题:limit.lua的逻辑?为什么要移除时间窗口的之前的数据?为什么ARGV[4]参数要唯一?为什么要expire?
A: 使用滑动窗口可以保证N分钟达到N次进行去重。滑动窗口可以回顾下TCP的,也可以回顾下刷LeetCode时的一些题,那这为什么要移除,就不陌生了。
为什么ARGV[4]要唯一,具体可以看看zadd这条命令,我们只需要保证每次add进窗口内的成员是唯一的,那么就不会触发有更新的操作(我认为这样设计会更加简单些),而唯一Key用雪花算法比较方便。
为什么expire?,如果这个key只被调用一次。那就很有可能在redis内存常驻了,expire能避免这种情况。
推荐项目最后再叨叨吧,很多人可能会发一段截图,跑来问我为什么要这样写,为什么要以这种方式实现,能不能以这种方式实现。这时候,我更想看到的是:你已经实现了第二种方式了,然后探讨你写的这种方案好不好,现有的代码差在哪里。
毕竟问问题很简单,我又不是客服,总不能没诚意的问题我都得一一回答吧。
如果想学Java项目的,我还是强烈推荐我的开源项目消息推送平台Austin,可以用作毕业设计,可以用作校招,可以看看生产环境是怎么推送消息的。
仓库地址(可点击阅读原文跳转):https://gitee.com/zhongfucheng/austin
我开通了股东服务内容,感兴趣可以点击下方看看,主要针对的是项目哟
VIP服务
标签:
抢先读
- 什么是qdii基金?qdii基金的赎回有没有手续费?
- 全球动态:基金适合新手吗?新手适合买中高风险的基金吗
- 腾讯视频投屏到电视怎么操作?腾讯视频pc版怎样登录?-热议
- 环球最新:赤壁赋说课稿怎么写?高中语文大单元说课稿这样写
- 好客山东丨五年来“最火热”端午山东数据亮眼 重点景区接待游客419.8万人次
- 信用卡变成呆账怎么办?信用卡呆账如何协商还款? 世界百事通
- 环球看热讯:多普达p660刷机怎么操作?手机恢复出厂设置和刷机哪个更好?
- 焦点报道:江苏立华牧业有限公司到正阳县考察投资项目
- 003035主力资金流向是什么?003035主力控盘分析 全球播资讯
- avg是的什么意思?avg越高越好还是越低越好?
- 买基金和买股票谁的成本毕竟低?初学者买基金和股票哪个好?
- 【天天新视野】处女座是会用言语去迷惑别人的 说得天花乱坠?
- 身份证复印件可以取火车票吗?身份证丢了怎么取票坐火车? 世界热门
- 择天记结局是什么?择天记最后陈长生和徐有容在一起了吗? 焦点快看
- 天天短讯!汝南县城管局开展露天烧烤夜间专项督导检查活动
- 中国网络购物发展现状如何?网络购物是在什么时候兴起的?-前沿资讯
- 韩国市民团体敦促日本政府在陆地保管核污染水|焦点观察
- 规模化生产服务更加便捷高效 河南仙佑提高市场竞争力_短讯
- 天天新动态:手机QQ来电动画怎么设置?qq充值记录删除的方法
- 河南2023年高考分数线公布:文科一本547分,理科一本514分 全球看热讯
- 当前通讯!房贷提前还款利息怎么算?房贷提前还款可以申请几次?
- 广发基金人力外包怎么样?广发证券外包好进吗?
- 移仓是什么意思(期货移仓成本怎么算)_全球观速讯
- 世界看热讯:回迁房的产权是多少年 房产中介费一般收多少
- 理财产品风险等级如何划分?银行推荐的理财产品有风险吗? 世界报道
- 积极理财究竟是为了什么? 理财真能使人发财吗?
- 李晟辟谣与李佳航离婚 李晟和李佳航怎么在一起的?
- 即时焦点:身份证复印件可以取火车票吗?坐火车身份证忘带或丢失怎么办?
- 焦点短讯!去离子水ph值是多少?为什么测得蒸馏水的PH值是8.0?
- 支付宝还信用卡多久到账 ?支付宝还信用卡需要手续费吗?
- 每日热点:民生银行吴家山开发区支行免费拍照活动
- 世界头条:今日青海92号汽油多少钱一升?95号汽油今日油价是多少?
- 国债逆回购风险怎么样?1万块买国债逆回购14天收益多少?
- 【天天快播报】粽情欢庆端午 《诗画秭归》灯展在屈原故里景区“点亮”
- 长春花如何种植?长春花的播种方法有哪些?-全球播资讯
- 小泽又木风是什么梗?小则又沐风是哪一集?-世界即时看
- 医保报销是怎么报销的?医保报销完后商业保险怎么报销? 天天视点
- 左右脑哪个发达更聪明 左脑和右脑哪个智商高?
- 关爱特别群体,筑牢金融防线——浦发银行荆州沙市支行开展“普及金融知识万里行”活动 环球要闻
- 信用卡还清了还会产生费用吗?信用卡明明还清了还有欠款?-天天聚看点
- 硫代硫酸钠化学式是什么?硫代硫酸钠生产方法是什么?
- 五一档票房破16亿是哪一年?票房和演员片酬有关系吗?
- 百度贴吧名字怎么修改?百度贴吧要怎么引流?_资讯推荐
- 处女座不会为自己的言语负责 觉得这是个人的选择?
- 烟花是哪个朝代发明的?烟花是化学变化还是物理变化呢?
- 军工股一般有哪些?军工股每年什么时候涨的好?
- a股和b股的区别是什么?a股和b股哪个风险大?
- 蚕茧多久能变飞蛾?蚕茧的做法步骤
- 魔兽世界索拉查盆地任务怎么做?魔兽世界索拉查盆地通关技巧是什么?-天天关注
- 户籍地址是填什么地址?户籍地址和籍贯一样吗?-焦点热讯
- 美联储加息什么意思有什么影响?美联储停止加息中国影响吗?
- 全球短讯!csgo开箱饰品开宝箱平台排名盘点 csgo国服怎么调准星大小?
- 龙门石窟在哪里 龙门石窟有哪些著名景点?
- 新动态:信用卡停了能不能恢复使用?信用卡停卡停息怎么申请?
- 支付宝网商银行安全可靠吗? 余额宝基金怎么更换?
- 民间借贷的基本原则是什么呢?民间借贷有什么注意事项?
- 今亮点!网上银行和手机银行有什么区别?网上银行登陆密码忘了怎么办?
- 全球观天下!仙佑医药注重技术创新建设 让品牌商轻松进入市场
- 极限的法则是什么?极限是高中还是大学学的?
- 网上车险和电话车险哪个便宜?电话投保和网上投保哪个便宜?|天天报资讯
- fra是哪个国家?fra是哪个国家的机场代码?
- 面对爱情巨蟹男觉得越来越辛苦 变得迷茫起来?
- xp系统下360怎么开启“XP盾甲”保护电脑?在安全模式下能安装程序吗?
- 【报资讯】电脑键盘锁定怎么解锁?键盘突然打不出字怎么回事?
- 花呗延期还款的方法哪些?花呗延期还款要利息吗? 环球热资讯
- 买股票的成本包括哪些?买基金的成本有哪些?
- 金相显微镜原理是什么?金相显微镜使用方法是什么?
- 每日热讯!wlan指什么?无线网怎么重新设置密码?
- 民生银行新华支行:上门领卡解难题,用心服务暧人心|快报
- 尾盘杀跌什么意思?尾盘突然下跌有什么目的?|每日信息
- 抖音网红七阿姨介绍 网红七阿姨背景简介
- 如何加入高德地图?百度地图怎么看实时街景?
- 买股票能不能个人掌控?买基金个人能随意操作吗?
- 送苹果的寓意是什么?苹果原产地在哪里?
- 世界热资讯!社会矛盾有哪些?两对社会矛盾是什么关系?
- 000909资金流向是什么?000909股票怎么样?-前沿热点
- 天天观速讯丨000532主力资金流向简介 000532主力控盘怎么样?
- 天天亮点!磷酸化是什么意思?信号传导中的作用是什么?
- 法院的账号要怎么汇款?法院帐号是以个人名义开的还是法院名义?
- 百度影棒是什么?百度影棒怎么使用?
- 存款利率降低还存钱吗?存款利率降低意味着什么?
- 上海自由贸易试验区属于哪个区?2023上海自贸区概念龙头股票有哪些?
- 【环球报资讯】002466本周股价怎么样?002466主营业务介绍
- 买股票的风险为什么高?买基金的风险为啥低?
- 如何办理个人无担保小额贷款?不需要担保人的贷款有哪些? 世界播报
- 辛亥革命时间是哪一年?辛亥革命属于什么性质的革命? 今头条
- 买基金和买股票谁的成本更贵?基金和股票买哪个好?-热讯
- 精准服务敢创敢闯 湖北武汉积极打好驻点招商“主动仗”
- 毕业拨流苏的意义是什么?只有优秀毕业生才能拨穗吗?
- 什么是wingman?wingman在网络上的引申含义是什么?
- 全球通讯!人均gdp是什么?什么是人均GDP?人均GDP怎么算的?
- 仙佑医药注重技术创新建设 让品牌商轻松进入市场-环球即时
- 村镇银行存钱可靠吗? 村镇银行属于农村商业银行吗?_环球最资讯
- 买什么基金收益比较稳定?买基金有什么技巧?
- 世界看热讯:仙佑膏药代加工产业发展迅速,成为市场新宠
- 艾草和艾蒿的区别是什么?艾蒿的功效与作用是什么?_每日简讯
- 天天微速讯:北交所新股申购需要市值吗?北交所申购新股怎么操作?
- 买股票和买基金谁的风险更大?操作买股票和买基金的步骤一样吗?
- 辨的部首是什么偏旁?鼻子的鼻是什么部首?
- 天天快资讯丨市公安局出入境管理处 服务细致周到 百姓暖心舒心省心