当前位置: 首页 > news >正文

网站建设商业计划书范文抖音seo优化排名

网站建设商业计划书范文,抖音seo优化排名,北京物流网站建设,app 软件开发目录双写一致性Redis与Mysql双写一致性canal配置流程代码案例双写一致性理解缓存操作细分缓存一致性多种更新策略挂牌报错,凌晨升级先更新数据库,在更新缓存先删除缓存,在更新数据库先更新数据库,在删除缓存延迟双删策略总结双写一致性 Redis与Mysql双写一致性 canal 主要是…

目录

    • 双写一致性
      • Redis与Mysql双写一致性
        • canal
          • 配置流程
          • 代码案例
        • 双写一致性理解
          • 缓存操作细分
        • 缓存一致性多种更新策略
          • 挂牌报错,凌晨升级
          • 先更新数据库,在更新缓存
          • 先删除缓存,在更新数据库
          • 先更新数据库,在删除缓存
          • 延迟双删策略
      • 总结

双写一致性

Redis与Mysql双写一致性

canal

主要是用于MySQL数据库增量日志数据的订阅,消费和解析(由阿里开源的Java项目),canal是通过伪装成MySQL的slave节点来转储master节点的binlog日志的一个中间件,他拿到日志内容以后,就可以把日志的相关数据变更重放到任何地方,可以是其他的MySQL,也可以是消息队列,redis甚至是文件中.

配置流程
  • 开启MySQL的binlog写入功能(需要重启MySQL,阿里云的好像默认就开启了)
  • 授权canal连接MySQL的账号,其实就是新建一个canal专用的账号便于区分(权限可以稍微高一些)
  • 去官网下载并解压canal到自己的目录下,修改instance.properties配置文件
  • 换成自己mysql主机所在的ip地址
  • 换成自己刚才给MySQL新建的用户及其密码
  • 启动canel并查看server和instance实例的日志来确保启动运行成功
代码案例
import com.alibaba.otter.canal.client.CanalConnector;
import com.alibaba.otter.canal.client.CanalConnectors;
import com.alibaba.otter.canal.protocol.CanalEntry;
import com.alibaba.otter.canal.protocol.Message;
import com.google.protobuf.InvalidProtocolBufferException;import java.net.InetSocketAddress;
import java.util.List;
import java.util.concurrent.TimeUnit;public class RedisCanalClientExample {public static final int _60SECONDS = 60;public static void main(String[] args) {CanalConnector connector = CanalConnectors.newSingleConnector(new InetSocketAddress("127.0.0.1", 1111), "example", "", "");int batchSize = 1000;int emptyCount = 0;System.out.println("---------程序启动,开始监听MySQL的变化: ");try {connector.connect();//这个就是你要订阅的变化的那个库表connector.subscribe("db_test.t_user");connector.rollback();int totalEmptyCount = 10 * _60SECONDS;while (emptyCount < totalEmptyCount) {//获取指定数量的数据Message message = connector.getWithoutAck(batchSize);long batchId = message.getId();int size = message.getEntries().size();if (batchId == -1 || size == 0) {emptyCount++;try {TimeUnit.SECONDS.sleep(1);} catch (InterruptedException e) {e.printStackTrace();}} else {emptyCount = 0;printEntry(message.getEntries());System.out.println();}//提交确认connector.ack(batchId);//处理失败,回滚数据//connector.rollback(batchId);}System.out.println("empty too many times,exit");} finally {connector.disconnect();}}private static void printEntry(List<CanalEntry.Entry> entries) {for (CanalEntry.Entry entry : entries) {if (entry.getEntryType() == CanalEntry.EntryType.TRANSACTIONBEGIN || entry.getEntryType() == CanalEntry.EntryType.TRANSACTIONEND) {continue;}CanalEntry.RowChange rowChange = null;try {rowChange = CanalEntry.RowChange.parseFrom(entry.getStoreValue());} catch (InvalidProtocolBufferException e) {throw new RuntimeException(e);}CanalEntry.EventType eventType = rowChange.getEventType();System.out.printf("==========binlog[%s:%s],name[%s,%s],eventType : %s%n",entry.getHeader().getLogfileName(), entry.getHeader().getLogfileOffset(),entry.getHeader().getSchemaName(), entry.getHeader().getTableName(), eventType);for (CanalEntry.RowData rowData : rowChange.getRowDatasList()) {if (eventType == CanalEntry.EventType.INSERT) {redisInsert(rowData.getAfterColumnsList());} else if (eventType == CanalEntry.EventType.UPDATE) {redisUpdate(rowData.getAfterColumnsList());} else {redisDelete(rowData.getAfterColumnsList());}}}}private static void redisInsert(List<CanalEntry.Column> columns) {//实现省略,往redis插入数据}private static void redisUpdate(List<CanalEntry.Column> columns) {//实现省略,往redis修改数据}private static void redisDelete(List<CanalEntry.Column> columns) {//实现省略,往redis删除数据}
}

双写一致性理解

  • redis中有数据,需要和数据库中的值相同
  • redis中无数据,需要数据库中的值要是最新值
缓存操作细分
  • 只读缓存
  • 读写缓存
  • 同步直写策略:写数据库时也同步写缓存,缓存和数据库中的数据一致(对于读写缓存来说,要想保证缓存和数据库中的数据一致,就要采用同步直写策略)

缓存一致性多种更新策略

挂牌报错,凌晨升级

让客户稍作等待,然后趁机更新mysql和redis(特别重要级别的数据最好不要多线程)

给缓存设置过期时间,是保证最终一致性的解决方案.所有的写操作以数据库为准,对缓存操作只是尽最大的努力即可.也就是说如果数据库写入成功,缓存更新失败,那么只要到达过期时间.后面的请求自然会从数据库中读取新数据然后回填缓存,达到一致性.切记以mysql的数据库写入为准.

先更新数据库,在更新缓存

在高并发的情境下,这个操作是跨两个不同的系统的,就一定会可能发生数据不一致的问题,导致读到脏数据(比如某方更新失败了)

先删除缓存,在更新数据库

容易出现的异常问题:A线程删除了缓存,去更新mysql. B线程过来又要读取,A还在更新中,这时候有可能发生

  • 有可能缓存击穿(看你有没有双端检索加锁来初始化缓存)
  • B从mysql获得了旧值
  • B会把获得的旧值写回到Redis缓存(被A删除掉的旧数据,又被B给写会了,缓存的更新就失败了)
  • 请求A更新完成,MySQL与Redis发生了数据不一致的情况

这种方案尽量不要用

先更新数据库,在删除缓存

还是会出现短时间的数据不一致(可能会从缓存中读取到旧数据)

canal就是类似的思想

延迟双删策略

先删除Redis的缓存,在更新完数据库之后,再删除一次Redis的缓存(延迟删除),这时候能保证数据的最终一致性.

  • 这个删除该休眠多久
  • 自己根据业务进行一个具体的评估,在此耗时基础上面加个**百毫秒**左右即可
  • 如果MySQL是主从分离如何
  • 从库更可能导致数据不一致问题(还有个主从复制的延迟时间),所以更加需要采用延迟双删的策略了(延迟时间可能需要再加上百毫秒时间)
  • 这种同步淘汰策略,吞吐量降低了怎么办
  • 可以新起来一个线程去后台做这个事情(用CompletableFuture等实现)

分布式系统只有最终一致性,很难去做到强一致性

总结

把Redis作为只读缓存的话还好,没有一致性的问题,但是如果把Redis作为读写缓存来用.建议使用先更新数据库,再删除缓存的方案.理由如下:

  • 先删除缓存的值在更新数据库,有可能缓存击穿打满MySQL,并且也避免不了数据不一致的问题
  • 如果业务应用中读取数据库和写缓存的时间不好估算,那么延迟双删中的等待时间就不好设置
http://www.bjxfkj.com.cn/article/104442.html

相关文章:

  • 网站内容通过服务器会不会被更改二级域名网站免费建站
  • 外贸网站主机选择国际新闻快报
  • 室内设计3d模型素材网站1688的网站特色
  • 企业全称网站最近发生的重大新闻事件
  • 哪家公司制作网站全网推广公司
  • 常用的网站建设程序有那些google海外推广
  • 哈尔滨网站建设好百度搜图
  • 做网站抄代码惠州百度seo排名
  • 网站关键词指数查询深圳百度推广代理
  • java接单做任务的网站seo网络推广优化教程
  • 巫山集团网站建设网站推广引流最快方法
  • 北京好的网站制作微信推广引流平台
  • 网站公安备案查询系统关键词排名网站
  • 做网站能接到项目工程吗龙岗seo网络推广
  • 天津b2b网站建设公司哪家好网推公司
  • 装修在线设计网站seo网站推广的主要目的是什么
  • 如何做网站代码企业官网网站
  • 做网站互联互通竞价排名采用什么计费方式
  • 怎么知道自己网站的权重超级外链发布工具
  • 南宁网站建设推广企业网站制作费用
  • 用bootstrap做网站管理系统链接买卖
  • 互联网网站建设价格培训班招生方案有哪些
  • wordpress linux 建站百度一下首页极简版
  • 即刻搜索收录网站怎么交换友情链接
  • 给 小企业 建设网站备案查询网
  • 明星做av网站怎么找一手app推广代理
  • 新疆住房城乡建设厅网站app开发公司排行榜
  • 东莞高埗做网站哪个公司好互联网营销有哪些方式
  • 深圳做网站多少费用建站网站关键词优化
  • 免费空间做淘宝客网站昆山网站建设推广