解剖屎山,寻觅黄金之第二弹 焦点关注
大家好,我3y啊。由于去重逻辑重构了几次,好多股东直呼看不懂,于是我今天再安排一波对代码的解析吧。austin支持两种去重的类型:N分钟相同内容达到N次去重和一天内N次相同渠道频次去重。
在最开始,我的第一版实现是这样的:
publicvoidduplication(TaskInfotaskInfo){//配置示例:{"contentDeduplication":{"num":1,"time":300},"frequencyDeduplication":{"num":5}}JSONObjectproperty=JSON.parseObject(config.getProperty(DEDUPLICATION_RULE_KEY,AustinConstant.APOLLO_DEFAULT_VALUE_JSON_OBJECT));JSONObjectcontentDeduplication=property.getJSONObject(CONTENT_DEDUPLICATION);JSONObjectfrequencyDeduplication=property.getJSONObject(FREQUENCY_DEDUPLICATION);//文案去重DeduplicationParamcontentParams=DeduplicationParam.builder().deduplicationTime(contentDeduplication.getLong(TIME)).countNum(contentDeduplication.getInteger(NUM)).taskInfo(taskInfo).anchorState(AnchorState.CONTENT_DEDUPLICATION).build();contentDeduplicationService.deduplication(contentParams);//运营总规则去重(一天内用户收到最多同一个渠道的消息次数)Longseconds=(DateUtil.endOfDay(newDate()).getTime()-DateUtil.current())/1000;DeduplicationParambusinessParams=DeduplicationParam.builder().deduplicationTime(seconds).countNum(frequencyDeduplication.getInteger(NUM)).taskInfo(taskInfo).anchorState(AnchorState.RULE_DEDUPLICATION).build();frequencyDeduplicationService.deduplication(businessParams);}
(相关资料图)
那时候很简单,基本主体逻辑都写在这个入口上了,应该都能看得懂。后来,群里滴滴哥表示这种代码不行,不能一眼看出来它干了什么。于是怒提了一波pull request重构了一版,入口是这样的:
publicvoidduplication(TaskInfotaskInfo){//配置样例:{"contentDeduplication":{"num":1,"time":300},"frequencyDeduplication":{"num":5}}Stringdeduplication=config.getProperty(DeduplicationConstants.DEDUPLICATION_RULE_KEY,AustinConstant.APOLLO_DEFAULT_VALUE_JSON_OBJECT);//去重DEDUPLICATION_LIST.forEach(key->{DeduplicationParamdeduplicationParam=builderFactory.select(key).build(deduplication,key);if(deduplicationParam!=null){deduplicationParam.setTaskInfo(taskInfo);DeduplicationServicededuplicationService=findService(key+SERVICE);deduplicationService.deduplication(deduplicationParam);}});}
我猜想他的思路就是把构建去重参数和选择具体的去重服务给封装起来了,在最外层的代码看起来就很简洁了。后来又跟他聊了下,他的设计思路是这样的:考虑到以后会有其他规则的去重就把去重逻辑单独封装起来了,之后用策略模版的设计模式进行了重构,重构后的代码 模版不变,支持各种不同策略的去重,扩展性更高更强更简洁
确实牛逼。
我基于上面的思路微改了下入口,代码最终演变成这样:
publicvoidduplication(TaskInfotaskInfo){//配置样例:{"deduplication_10":{"num":1,"time":300},"deduplication_20":{"num":5}}StringdeduplicationConfig=config.getProperty(DEDUPLICATION_RULE_KEY,CommonConstant.EMPTY_JSON_OBJECT);//去重ListdeduplicationList=DeduplicationType.getDeduplicationList();for(IntegerdeduplicationType:deduplicationList){DeduplicationParamdeduplicationParam=deduplicationHolder.selectBuilder(deduplicationType).build(deduplicationConfig,taskInfo);if(Objects.nonNull(deduplicationParam)){deduplicationHolder.selectService(deduplicationType).deduplication(deduplicationParam);}}}
到这,应该大多数人还能跟上吧?在讲具体的代码之前,我们先来简单看看去重功能的代码结构(这会对后面看代码有帮助)
去重的逻辑可以统一抽象为:在X时间段内达到了Y阈值,还记得我曾经说过:「去重」的本质:「业务Key」+「存储」。那么去重实现的步骤可以简单分为(我这边存储就用的Redis):
通过Key从Redis获取记录判断该Key在Redis的记录是否符合条件符合条件的则去重,不符合条件的则重新塞进Redis更新记录为了方便调整去重的参数,我把X时间段和Y阈值都放到了配置里{"deduplication_10":{"num":1,"time":300},"deduplication_20":{"num":5}}。目前有两种去重的具体实现:
1、5分钟内相同用户如果收到相同的内容,则应该被过滤掉
2、一天内相同的用户如果已经收到某渠道内容5次,则应该被过滤掉
从配置中心拿到配置信息了以后,Builder就是根据这两种类型去构建出DeduplicationParam,就是以下代码:
DeduplicationParamdeduplicationParam=deduplicationHolder.selectBuilder(deduplicationType).build(deduplicationConfig,taskInfo);
Builder和DeduplicationService都用了类似的写法(在子类初始化的时候指定类型,在父类统一接收,放到Map里管理)
而统一管理着这些服务有个中心的地方,我把这取名为DeduplicationHolder
/***@authorhuskey*@date2022/1/18*/@ServicepublicclassDeduplicationHolder{privatefinalMapbuilderHolder=newHashMap<>(4);privatefinalMap serviceHolder=newHashMap<>(4);publicBuilderselectBuilder(Integerkey){returnbuilderHolder.get(key);}publicDeduplicationServiceselectService(Integerkey){returnserviceHolder.get(key);}publicvoidputBuilder(Integerkey,Builderbuilder){builderHolder.put(key,builder);}publicvoidputService(Integerkey,DeduplicationServiceservice){serviceHolder.put(key,service);}}
前面提到的业务Key,是在AbstractDeduplicationService的子类下构建的:
而具体的去重逻辑实现则都在LimitService下,{一天内相同的用户如果已经收到某渠道内容5次}是在SimpleLimitService中处理使用mget和pipelineSetEX就完成了实现。而{5分钟内相同用户如果收到相同的内容}是在SlideWindowLimitService中处理,使用了lua脚本完成了实现。
LimitService的代码都来源于@caolongxiu的pull request,建议大家可以对比commit再学习一番:https://gitee.com/zhongfucheng/austin/pulls/19
1、频次去重采用普通的计数去重方法,限制的是每天发送的条数。
2、内容去重采用的是新开发的基于redis中zset的滑动窗口去重,可以做到严格控制单位时间内的频次。
3、redis使用lua脚本来保证原子性和减少网络io的损耗
4、redis的key增加前缀做到数据隔离(后期可能有动态更换去重方法的需求)
5、把具体限流去重方法从DeduplicationService抽取出来,DeduplicationService只需设置构造器注入时注入的AbstractLimitService(具体限流去重服务)类型即可动态更换去重的方法 6、使用雪花算法生成zset的唯一value,score使用的是当前的时间戳
针对滑动窗口去重,有会引申出新的问题:limit.lua的逻辑?为什么要移除时间窗口的之前的数据?为什么ARGV[4]参数要唯一?为什么要expire?
A: 使用滑动窗口可以保证N分钟达到N次进行去重。滑动窗口可以回顾下TCP的,也可以回顾下刷LeetCode时的一些题,那这为什么要移除,就不陌生了。
为什么ARGV[4]要唯一,具体可以看看zadd这条命令,我们只需要保证每次add进窗口内的成员是唯一的,那么就不会触发有更新的操作(我认为这样设计会更加简单些),而唯一Key用雪花算法比较方便。
为什么expire?,如果这个key只被调用一次。那就很有可能在redis内存常驻了,expire能避免这种情况。
推荐项目最后再叨叨吧,很多人可能会发一段截图,跑来问我为什么要这样写,为什么要以这种方式实现,能不能以这种方式实现。这时候,我更想看到的是:你已经实现了第二种方式了,然后探讨你写的这种方案好不好,现有的代码差在哪里。
毕竟问问题很简单,我又不是客服,总不能没诚意的问题我都得一一回答吧。
如果想学Java项目的,我还是强烈推荐我的开源项目消息推送平台Austin,可以用作毕业设计,可以用作校招,可以看看生产环境是怎么推送消息的。
仓库地址(可点击阅读原文跳转):https://gitee.com/zhongfucheng/austin
我开通了股东服务内容,感兴趣可以点击下方看看,主要针对的是项目哟
VIP服务
标签:
抢先读
- csgo哪个开箱网站最大?csgo箱子爆率一般是多少?
- 抚顺十四运开幕式几点开始?
- 大庆中考信息管理平台登录
- 挪威UECC第二艘双燃料LNG电池混合动力PCTC在瑞典哥德堡港命名 全球热门
- 生成式AI创企的大问题:不缺钱,缺训练数据
- 目前那个银行信用卡好办额度高?哪家银行信用卡好办额度又高?
- 报告:韩国2070年75岁以上人口占比将居经合组织之首 75~79岁人群近四成希望继续工作
- 酸豆角太酸了如何除酸 酸豆角变酸是什么原理?
- 2023梵净山旅游攻略(开放时间+门票+交通指南)
- 当前热讯:安徽省美术馆联盟成立
- 每日消息!玩游戏最好的笔记本(玩游戏最好的笔记本)
- 演员杨蓉:学演戏,得先学做人
- 警方上门调解儿媳穿短裤被公公打事件 环球讯息
- 每日讯息!空调漏水怎么处理视频(空调漏水怎么处理)
- 香港小姐2023|仙气Jumbo最上镜,翻版刘玉翠身材超火辣|今日观点
- 175亿元投资流向江苏灌南县 每日焦点
- 2023 ChinaJoy-Game Connection 环球热讯
- 海关总署恢复、批准20家肉类企业在华注册
- 中国光伏军团齐聚德国慕尼黑,较几周前的上海展有何新亮点?|全球动态
- 虽然看不懂,但中海花20亿,吃下荔湾广信资产包地块
- 河南民权县一资金互助社违规吸储,一年期利率高达4%,有农民17万存款取不出 焦点精选
- 焦点简讯:扬州工会为新业态企业“法治体检”
- 粒粒皆辛苦前面一句是什么诗句?粒粒皆辛苦打一成语是什么? 全球今热点
- 抓实操演练 重安全生产 | 古交市妇幼保健计划生育服务中心开展消防安全培训
- 世界视讯!树根互联“根云工业互联网操作系统4.0”发布三大场景版本
- 新壹科技CEO雷涛:AIGC时代给了普通人一个IP化的机遇_天天短讯
- 国家发改委:1-5月份 全国全社会用电量同比增长5.2%
- 火种成功采集!亚运会倒计时100天,杭州准备好了_环球热文
- 黄山屯溪区:让老人享受幸福 “食”光 世界快播报
- 大连大孤山滨海社区卫生服务站二价/四价hpv疫苗到苗通知
- 送杜少府之任蜀州翻译及主旨(送杜少府之任蜀州翻译)
- 世界热头条丨新仙剑奇侠传之挥剑问情角色排行一览
- 广发银行发现精彩获评“年度创新信用卡APP” 每日快看
- 股票趋势线指的是哪根线?画趋势线注意事项有哪些?_天天消息
- win10忘记密码如何开机_win10忘记密码 环球快讯
- 环球快讯:在湾心,瞰世界!航拍南沙这一年
- 《无人知晓的故事》获上影节电影项目创投大奖 《她问》世界首映 焦点报道
- 中原科技城小微企业园项目顺利通过竣工验收 观热点
- 领克09亚运行政五座版上市 售价28.99万元
- 资讯推荐:守住钱袋子 护好幸福家西安高新区开展“防范非法集资”集中宣传日活动
- 实时焦点:智慧农业属于什么概念?十大智慧农业龙头股?
- 世界热消息:资深纹绣培训讲师吴丽姿:9年经验成就全能型半永久技术高手
- 《星空》尚未发售就遭差评 玩家指责开发商及制作人 世界观点
- 世界观天下!当前资讯!2023年9月全国计算机等级考试报名将于6月26日开始
- 北京论道|乐播投屏吴仕彬:新环境下投屏的场景化、合规化、市场化应用 今日最新
- 每日精选:oppoa55手机锁屏振动怎么关闭?oppoA55怎么可以将铃声放大?
- 【环球时快讯】蓝色协议登录不进去 开服网络错误有效解决方法
- 房贷提前还款的方式有几种?房贷逾期不还的后果看这里 全球动态
- 全球今日讯!球迷“狂飙”盖过梅西进球,媒体:热情可理解,“越界”莫赞美
- 国家统计局:二季度经济增长明显快于一季度
- 漫威有5位惊奇队长?3个是一家人,还有一个能冲进恒星 最新
- 【国际漫评】这是没有新谣可造了吗?
- 全球微头条丨毁灭新生?这款暗黑续作究竟能否逆风翻盘?
- 少量饮酒竟有益心脏健康?哈佛医学院最新研究揭示背后原因……_环球新消息
- 环球今热点:陕西宝鸡:暖心服务助力小麦归仓
- 怎样获取莉莉娅的隐藏任务_需要怎么做-环球今日报
- 小米14提前发:采用华星极窄边框直屏|环球百事通
- 2023年5月上汽集团汽车产量情况:新能源汽车销量同比增长5.94%_天天最新
- 匙能组什么词语 匙能组什么词
- 现在钢铁侠的模型值不值得买,你要有买二手和加价的心理准备才行
- 2023年最新广西高温补贴标准及发放时间 广西高温补贴一个月多少钱?
- 招商银行掌上生活获评“年度最佳信用卡APP” 世界热点评
- 债券基金有哪些风险?如何办理基金转换?-环球速读
- 破坏组蛋白遗传可能导致肿瘤加速发展
- SK海力士据报将翻倍HBM产能,因人工智能半导体需求增加_天天精选
- 今日要闻!广西职业技术学院召开2023年教学部门绩效考核工作研讨会
- 天天消息!陕西旬邑县:执法暖民心 锦旗表谢意
- 武功公安持续深入辖区企业开展反诈宣传_全球微头条
- 中国民航局:5月份国内客运规模比2019年同期增长2.6%-天天报道
- 共和报:西汉姆联、伯恩茅斯和诺丁汉森林有意扎莱夫斯基
- 热推荐:五年级英语手抄报内容资料_五年级英语手抄报内容
- 韩政府:6月15日起每天公布日本核污水排海安全信息_焦点日报
- “消防+交通”打通消防车通道 世界今头条
- 全球热议:时光之穴开启黑暗之门任务_时光之穴怎么去
- 定期存款利息税-定期存款利息税率是多少|资讯
- 宁夏贺兰 年产10万吨物理法多晶硅及光伏全产业链项目开工建设
- 美国疾控中心:枪支暴力推波助澜 青少年谋杀率飙升_全球快资讯
- 学校回应初三家长反对收费被踢出群:家委会已退款_每日短讯
- 恩威医药同山东朗诺达成合作 战略布局得到持续深化
- 每日关注!vivo全系列型号大全:从旗舰到入门级,一网打尽!
- 初始投资成本是什么?初始投资成本怎么计算?
- 医生进校,为光祈幼儿园教职工普及健康知识 头条焦点
- 天天观热点:亚运会的运动员村什么样?先睹为快
- 空客公司预测未来二十年全球民用飞机交付数量将超过4万架-焦点短讯
- 唯品会开启618年中特卖节高潮期 运动户外等品类迎来增长_全球关注
- 房地产属于什么产业?房地产行业具体内容有哪些?
- 日本央行决定继续维持当前宽松货币政策
- 每日热议!西安交大理科实验班哪个专业强_西安交大理学院
- 高合HiPhi Y一体化压铸后舱获碳中和大奖,7月15日全球上市|热头条
- 动画|宝“藏”朋友圈
- 前沿热点:辛奇是什么意思(辛奇隆个人资料出生哪一年)
- 世界观焦点:法国企业家中文接受采访:中国依然是全球经济最重要动力
- 阿里要建“欧洲版”天猫? 回应:天猫APP在欧洲本身就可以提供服务-全球看热讯
- 世界热头条丨德意志银行、富达国际收购万达债券 已增持2.63亿美元
- 世界观天下!阿里影业为什么暴跌
- 爱情公寓4在线播放_爱情公寓3在线播放免费高清_世界短讯
- 当前最新:新零售+新能源 解码安步汽车数字化突围
- 开场81秒破门 梅西助阿根廷队取胜
- 飞机靠桥率不高,让坐摆渡车?民航局启动专项整治 天天聚看点
- 2023山东省第二康复医院招聘备案制工作人员笔试准考证打印通知-全球快资讯