解剖屎山,寻觅黄金之第二弹-报资讯
大家好,我3y啊。由于去重逻辑重构了几次,好多股东直呼看不懂,于是我今天再安排一波对代码的解析吧。austin支持两种去重的类型:N分钟相同内容达到N次去重和一天内N次相同渠道频次去重。
(相关资料图)
在最开始,我的第一版实现是这样的:
publicvoidduplication(TaskInfotaskInfo){//配置示例:{"contentDeduplication":{"num":1,"time":300},"frequencyDeduplication":{"num":5}}JSONObjectproperty=JSON.parseObject(config.getProperty(DEDUPLICATION_RULE_KEY,AustinConstant.APOLLO_DEFAULT_VALUE_JSON_OBJECT));JSONObjectcontentDeduplication=property.getJSONObject(CONTENT_DEDUPLICATION);JSONObjectfrequencyDeduplication=property.getJSONObject(FREQUENCY_DEDUPLICATION);//文案去重DeduplicationParamcontentParams=DeduplicationParam.builder().deduplicationTime(contentDeduplication.getLong(TIME)).countNum(contentDeduplication.getInteger(NUM)).taskInfo(taskInfo).anchorState(AnchorState.CONTENT_DEDUPLICATION).build();contentDeduplicationService.deduplication(contentParams);//运营总规则去重(一天内用户收到最多同一个渠道的消息次数)Longseconds=(DateUtil.endOfDay(newDate()).getTime()-DateUtil.current())/1000;DeduplicationParambusinessParams=DeduplicationParam.builder().deduplicationTime(seconds).countNum(frequencyDeduplication.getInteger(NUM)).taskInfo(taskInfo).anchorState(AnchorState.RULE_DEDUPLICATION).build();frequencyDeduplicationService.deduplication(businessParams);}
那时候很简单,基本主体逻辑都写在这个入口上了,应该都能看得懂。后来,群里滴滴哥表示这种代码不行,不能一眼看出来它干了什么。于是怒提了一波pull request重构了一版,入口是这样的:
publicvoidduplication(TaskInfotaskInfo){//配置样例:{"contentDeduplication":{"num":1,"time":300},"frequencyDeduplication":{"num":5}}Stringdeduplication=config.getProperty(DeduplicationConstants.DEDUPLICATION_RULE_KEY,AustinConstant.APOLLO_DEFAULT_VALUE_JSON_OBJECT);//去重DEDUPLICATION_LIST.forEach(key->{DeduplicationParamdeduplicationParam=builderFactory.select(key).build(deduplication,key);if(deduplicationParam!=null){deduplicationParam.setTaskInfo(taskInfo);DeduplicationServicededuplicationService=findService(key+SERVICE);deduplicationService.deduplication(deduplicationParam);}});}
我猜想他的思路就是把构建去重参数和选择具体的去重服务给封装起来了,在最外层的代码看起来就很简洁了。后来又跟他聊了下,他的设计思路是这样的:考虑到以后会有其他规则的去重就把去重逻辑单独封装起来了,之后用策略模版的设计模式进行了重构,重构后的代码 模版不变,支持各种不同策略的去重,扩展性更高更强更简洁
确实牛逼。
我基于上面的思路微改了下入口,代码最终演变成这样:
publicvoidduplication(TaskInfotaskInfo){//配置样例:{"deduplication_10":{"num":1,"time":300},"deduplication_20":{"num":5}}StringdeduplicationConfig=config.getProperty(DEDUPLICATION_RULE_KEY,CommonConstant.EMPTY_JSON_OBJECT);//去重ListdeduplicationList=DeduplicationType.getDeduplicationList();for(IntegerdeduplicationType:deduplicationList){DeduplicationParamdeduplicationParam=deduplicationHolder.selectBuilder(deduplicationType).build(deduplicationConfig,taskInfo);if(Objects.nonNull(deduplicationParam)){deduplicationHolder.selectService(deduplicationType).deduplication(deduplicationParam);}}}
到这,应该大多数人还能跟上吧?在讲具体的代码之前,我们先来简单看看去重功能的代码结构(这会对后面看代码有帮助)
去重的逻辑可以统一抽象为:在X时间段内达到了Y阈值,还记得我曾经说过:「去重」的本质:「业务Key」+「存储」。那么去重实现的步骤可以简单分为(我这边存储就用的Redis):
通过Key从Redis获取记录判断该Key在Redis的记录是否符合条件符合条件的则去重,不符合条件的则重新塞进Redis更新记录为了方便调整去重的参数,我把X时间段和Y阈值都放到了配置里{"deduplication_10":{"num":1,"time":300},"deduplication_20":{"num":5}}。目前有两种去重的具体实现:
1、5分钟内相同用户如果收到相同的内容,则应该被过滤掉
2、一天内相同的用户如果已经收到某渠道内容5次,则应该被过滤掉
从配置中心拿到配置信息了以后,Builder就是根据这两种类型去构建出DeduplicationParam,就是以下代码:
DeduplicationParamdeduplicationParam=deduplicationHolder.selectBuilder(deduplicationType).build(deduplicationConfig,taskInfo);
Builder和DeduplicationService都用了类似的写法(在子类初始化的时候指定类型,在父类统一接收,放到Map里管理)
而统一管理着这些服务有个中心的地方,我把这取名为DeduplicationHolder
/***@authorhuskey*@date2022/1/18*/@ServicepublicclassDeduplicationHolder{privatefinalMapbuilderHolder=newHashMap<>(4);privatefinalMap serviceHolder=newHashMap<>(4);publicBuilderselectBuilder(Integerkey){returnbuilderHolder.get(key);}publicDeduplicationServiceselectService(Integerkey){returnserviceHolder.get(key);}publicvoidputBuilder(Integerkey,Builderbuilder){builderHolder.put(key,builder);}publicvoidputService(Integerkey,DeduplicationServiceservice){serviceHolder.put(key,service);}}
前面提到的业务Key,是在AbstractDeduplicationService的子类下构建的:
而具体的去重逻辑实现则都在LimitService下,{一天内相同的用户如果已经收到某渠道内容5次}是在SimpleLimitService中处理使用mget和pipelineSetEX就完成了实现。而{5分钟内相同用户如果收到相同的内容}是在SlideWindowLimitService中处理,使用了lua脚本完成了实现。
LimitService的代码都来源于@caolongxiu的pull request,建议大家可以对比commit再学习一番:https://gitee.com/zhongfucheng/austin/pulls/19
1、频次去重采用普通的计数去重方法,限制的是每天发送的条数。
2、内容去重采用的是新开发的基于redis中zset的滑动窗口去重,可以做到严格控制单位时间内的频次。
3、redis使用lua脚本来保证原子性和减少网络io的损耗
4、redis的key增加前缀做到数据隔离(后期可能有动态更换去重方法的需求)
5、把具体限流去重方法从DeduplicationService抽取出来,DeduplicationService只需设置构造器注入时注入的AbstractLimitService(具体限流去重服务)类型即可动态更换去重的方法 6、使用雪花算法生成zset的唯一value,score使用的是当前的时间戳
针对滑动窗口去重,有会引申出新的问题:limit.lua的逻辑?为什么要移除时间窗口的之前的数据?为什么ARGV[4]参数要唯一?为什么要expire?
A: 使用滑动窗口可以保证N分钟达到N次进行去重。滑动窗口可以回顾下TCP的,也可以回顾下刷LeetCode时的一些题,那这为什么要移除,就不陌生了。
为什么ARGV[4]要唯一,具体可以看看zadd这条命令,我们只需要保证每次add进窗口内的成员是唯一的,那么就不会触发有更新的操作(我认为这样设计会更加简单些),而唯一Key用雪花算法比较方便。
为什么expire?,如果这个key只被调用一次。那就很有可能在redis内存常驻了,expire能避免这种情况。
推荐项目最后再叨叨吧,很多人可能会发一段截图,跑来问我为什么要这样写,为什么要以这种方式实现,能不能以这种方式实现。这时候,我更想看到的是:你已经实现了第二种方式了,然后探讨你写的这种方案好不好,现有的代码差在哪里。
毕竟问问题很简单,我又不是客服,总不能没诚意的问题我都得一一回答吧。
如果想学Java项目的,我还是强烈推荐我的开源项目消息推送平台Austin,可以用作毕业设计,可以用作校招,可以看看生产环境是怎么推送消息的。
仓库地址(可点击阅读原文跳转):https://gitee.com/zhongfucheng/austin
我开通了股东服务内容,感兴趣可以点击下方看看,主要针对的是项目哟
VIP服务
标签:
抢先读
- 解剖屎山,寻觅黄金之第二弹-报资讯
- 奶茶、咖啡之后 年轻人开始喝袋泡茶了?
- 不用酵母粉怎样发面(不用酵母粉可以用小苏打和白醋、白酒、蜂蜜、老面、醪糟等发面)
- 2020年日历模板可编辑_2020年日历模板 独家
- 环球快看:我国科学家实现千公里无中继光纤量子密钥分发
- 雁江专项整治娱乐经营场所、校外培训机构等9大行业
- 2023年高考倒计时10天:多地考场首次配备这个!
- 成德眉资赴渝发“邀请函”,四城特色旅游产品等你来玩!|当前焦点
- 我国科学家实现千公里无中继光纤量子密钥分发
- 高新区:医疗器械产业园(二期) 预计今年8月具备交付条件-环球最资讯
- 5元以下的饮料,正在消失?|当前通讯
- 青筋暴起是好还是坏?青筋暴起的原因有哪些?
- 脑溢血有什么征兆?脑淤血是怎么引起的?
- 美媒:美国白宫与共和党就债务上限达成初步协议
- 罕见一幕!武汉财政局公开讨债 列了259家企业单位名单整版登报
- 闷热、暴雨都来了 南方大部体感温度可达40℃_当前播报
- 应对通缩和弱周期时代的策略与技巧
- 成都今年力争大数据产业规模突破1000亿元,人工智能产业规模突破700亿元-当前速递
- “安全”何以就绪?业界人士共话数据安全产业高质量发展 独家
- 【新时代 新征程 新伟业】三岔镇:玉米+大豆 助力农户双丰收
- 蜜饯为什么会出现糖霜?果脯和蜜饯的区别?
- 国产大飞机来了!C919今天开启首次商业载客飞行 全球即时
- 文冠果油有什么用途?文冠果能吃吗?
- 为北京培养重点发展领域复合型人才 部市合作设立北京公派出国人才培养专项 当前热门
- 世界头条:下周关注丨5月PMI数据将公布 这些投资机会最靠谱
- 沙特工作组抵达叙利亚 为恢复外交使团工作作准备|环球精选
- 焦点热议:网页切换的快捷键_网页切换窗口快捷键
- 焦点热文:昌平这两个小区增设公交站点,给3万人“行”了方便!
- 环球短讯!漳州交警成功侦破两起交通肇事逃逸案……
- 股票解禁是什么意思
- 天天视讯!十帝钱挂在家里哪个位置最佳_十帝钱
- 家常饭团的做法大全_饭团的做法大全
- 郑州市发布汛期地质灾害气象风险预警_天天速看
- cudug游戏外挂 cudug游戏网外挂_今日热文
- TyC:麦卡利斯特的父亲和经纪人将在下周前往英格兰
- 【天天聚看点】拜仁官方社媒祝坎塞洛生日快乐:“他是永不服输的斗...
- 当前速递!精准招商 集群发展 宁夏聚力新兴产业推动经济转型
- 我国科技成果转化规模显著提升 年度报告显示:高校院所转化合同总金额同比增长约25%
- 安徽以尖端科技聚产业动力
- 色厉内荏什么意思_色厉内荏的意思 看点
- 世界看热讯:距世乒赛男子大满贯仅差一步 “大头”若实现 将成00后第一人
- 我国科学家实现千公里无中继光纤量子密钥分发
- 1.8万个岗位!京津冀三地携手促就业 助力高校毕业生求职
- 水煮板栗怎么煮好吃又简单_水煮板栗
- 多家A股房企面临退市引市场担忧 地产大V们呼吁“史诗级救市政策”
- 环球滚动:港星李国麟航为国泰航空发声,建议涉事空姐:不要当一个洋奴
- 1tb手机_1tb
- 最新消息:“文化和自然遗产日”广东主会场系列活动将启 让非遗“活起来”“潮起来”
- 神州租车保险理赔范围
- 拼多多的运费险怎么理赔
- 家庭保险怎么买合理
- 车险综合改革实施时间
- 看热讯:定损钱就是修车钱吗
- 世界信息:远方的山楂树剧情介绍演员表_远方的山楂树剧情介绍
- 热销洗面奶祛黑头
- 突然涨价10倍,还全网断货!这款“保命药”怎么了? 重点聚焦
- 每日视点!香蕉苹果煮水的功效与作用(苹果煮水的功效与作用)
- 汉王手写电纸本:无纸化办公神器
- 小花猪Ai绘Zero2红战袍 热闻
- 环球新消息丨男子撞了头后下肢无力 专家:爱耍手机的“低头族”都要小心!
- 环球关注:梅赛德斯-奔驰推出了新的S级双门跑车和敞蓬车-配备了新的V8和V6发动机
- 速递!魔法黎明2:逢魔之刻_关于魔法黎明2:逢魔之刻简述
- 直线法折旧_直线法 全球新视野
- 磷酸三钠在锅炉中的作用(磷酸三钠) 环球聚看点
- 全球热点评!分级基金和普通基金的区别有哪些 有这些区别
- 建筑施工与管理专业系列教材:建筑材料 焦点
- 焦点快看:中国船厂交付全球首艘“海上石油加工厂”
- 定期存款的好处是什么?定期存款有风险吗?
- 天天微速讯:七旬老人斑马线上突发疾病,执勤警察火速救助
- 基金类型有哪些?不同类型的基金适合哪些投资者?
- 天天观速讯丨[崩坏:星穹铁道同人]希儿平凡的日常,相知相惜。
- 余额宝即将取消是真的吗?余额宝哪个基金好?
- etf基金安全吗?etf基金和普通基金买哪个?
- 买房子的税费怎么算?买卖和赠与过户哪个更划算?
- 股票内盘外盘是指什么?股票大盘又是什么意思?
- 晚上12点挂单有效吗?股票挂单注意事项有哪些?
- 国家乡村振兴局:进一步推动驻村帮扶工作取得新进展新成效_快资讯
- 陈影的血疑_歌词
- 重庆大学建筑规划设计研究总院规划赋能江津区石蟆镇乡村振兴 全球热讯
- 吉林省长春市2023-05-27 19:11发布雷电黄色预警_全球资讯
- 无抵押银行贷款需要什么手续?银行贷款怎么申请?
- 要闻速递:世乒赛:接连爆冷输球,队友被连累黄牌警告,王曼昱失利原因曝光
- 找工作要小心“求职陷阱” 警方提示:警惕套路与骗局 焦点日报
- 龚琳娜回应《乘风2023》舞台合作:融合就要放下自己的习惯
- 员工意外险一年多少钱?员工意外保险怎么理赔?
- 陈梦第二次打进世乒赛决赛,将和孙颖莎争冠,赢了就可成就大满贯 全球新视野
- 中国—东盟经济关系研讨会在穗举行
- 沧州园博会来了!穿越绿野仙踪赏诗画运河|全球信息
- 黄金瞳结局是什么?皇甫云哪一集背叛庄睿的?
- 最新资讯:争议!詹娜约男闺蜜度假,亲密搂腰形同情侣,穿吊带裙若隐若现
- 武汉市财政局公开催账 名单涉及多家当地国企和区财政局 欠款从1万到2000多万..._速递
- 申购新股如何操作?新股中签了怎么办?
- 全球讯息:柏睿数据刘睿民:以高标准、高性能先进算力,夯实数字经济发展的核心基座
- 热点聚焦:厦门天竺山一日游攻略 天竺山攻略
- 中缅企业经贸合作洽谈会缅甸举行 共签约10个项目 全球今亮点
- 新郎母亲颜值惊呆众人_热情优雅气场征服现场宾客 环球快报
- 预算的三种基本类型是什么?预算的基本功能主要包括哪些?
- 白色的蘑菇怎么炒好吃?
- “丰田最美SUV”雅•智升级 2023款凌放21.18万元起售
- 知乎发布最新大语言模型成果 其“搜索聚合”即日开启内测