redis-persist上线

九月份惨不忍睹,因为代码质量不够高,直接被Boss喷成了筛子。被反复教育说要高质量的代码,要可维护、高性能……

幸而,最后一周终于在紧张的加班中,灰度上线redis-land-go了,项目也改名为redis-persist,github在此

之前实现的,是redis到leveldb,以及skynet从leveldb中读取数据的接口。最后一周添加的,是SA同事可能会用到的功能。主要是:

  • dump
  • restore_one
  • restore_all
  • sync
  • sync_all
  • count
  • diff
  • keys
  • check_all
  • fast_check

这些指令可以分成三类,一类是从redis拷贝到leveldb的,比如sync开头的指令;一类是从leveldb拷贝到redis中的,典型如restore开头的指令;剩下的是用来检验两侧数据的,比如检查一个玩家数据的diff,检查数量的count,还有列出leveldb部分玩家uid的keys

这里的fast_check是针对当前玩家存储做的一个特殊优化,在leveldb中用前缀分出了一个特殊的key表,里面是玩家uid-玩家数据version的key-value对。这个表足够小,可以整个放进内存里,所以对于只需比对数据版本号的情况,能够在极短时间完成。redis和leveldb通过网络连接,不在一台机器上时,12w数据不超过1分钟。

同时,折腾这套工具的时候,还顺便看了一下leveldb的结构。leveldb有个sstable的概念,sstable就是内存里一块按key有序排列好的表,可以改动的时候叫memtable,准备写入磁盘的是另一个表,叫sstable。当数据比较少的时候,层级也比较少,具体哪个ldb文件对应哪一段key范围,是记录在MANIFEST里面的。写入的记录,首先记入log里,这是顺序写,所以极快。然后是定期后台整理,将sstable和磁盘上已有的ldb文件合并,使得磁盘的数据越来越有序。

时间: 10-16

redis-persist上线的相关文章

Redis Sentinel 学习笔记

转载出处: http://blog.csdn.net/lihao21 概述 Redis Sentinel 是用来实现 Redis 高可用的一套解决方案.Redis Sentinel 由两个部分组成:由一个或者多个 Sentinel 实例组成 Sentinel 系统:由一个主 Redis 服务器(master redis)和多个从 Redis 服务器(slave redis)组成主从备份的 Redis 系统.Sentinel 系统本身是一个分布式的系统,它的作用是监视 redis 服务器,在 ma

redis学习一 (key)键,Python操作redis 键

# -*- coding: utf-8 -*- import redis #这个redis 连接不能用,请根据自己的需要修改 r =redis.Redis(host="123.516.174.910",port=6379,password="11111608") 1. delete DEL 命令用于删除已存在的键.不存在的 key 会被忽略 print r.set('1', '4028b2883d3f5a8b013d57228d760a93') #set 设置指定

"Redis客户端连接数一直降不下来"的有关问题解决

[线上问题] "Redis客户端连接数一直降不下来"的问题解决 前段时间,上线了新的 Redis缓存(Cache)服务,准备替换掉 Memcached. 为什么要将 Memcached 替换掉? 原因是 业务数据是压缩后的列表型数据,缓存中保存最新的3000条数据.对于新数据追加操作,需要拆解成[get + unzip + append + zip + set]这5步操作.若列表长度在O(1k)级别的,其耗时至少在50ms+.而在并发环境下,这样会存在“数据更新覆盖问题”,因为追加操作

Redis附加功能之键过期功能

一.键过期功能的相关命令 二.设置生存时间 Redis 提供了两个命令来设置键的生存时间(TTL,time to live),它们分别是: 如果给定的键不存在,那么 EXPIRE 和 PEXPIRE 将返回 0 ,表示设置失败:如果命令返回 1 ,那么表示设置成功.当一个键被设置了生存时间之后,它的生存时间将会随着时间的流逝而减少:时间过去一毫秒,键的生存时间就减少一毫秒:时间过去一秒钟,键的生存时间就减少一秒钟:以此类推.当一个键的生存时间被减少至低于 0 时,Redis 就会自动将这个键删除

Redis 数据库入门指南

Redis 是一个开源数据库,它使用内存数据结构存储,可作为数据库.缓存和消息代理使用.Redis 支持丰富的数据结构,有:字符串(Strings).哈希(Hashs).列表(Lists).集合(Sets).有序集合(SortedSets).Redis 内置了复制.Lua脚本.事务及不同级别的数据硬盘持久化机制,并提供了高可用的Redis Sentinel和自动分区的集群机制.是构建高性能.可扩展的 Web 应用程序的有效手段. 安装配置 1.1 安装 1.2 配置 1.3 启动服务器 1.4

Redis的安装和使用之三------redis.conf配置释义

Redis配置文件被分成几大块区域,分别是: 1.通用(general) 2.快照(snapshotting) 3.复制(replication) 4.安全(security) 5.限制(limits) 6.追加模式(append only mode) 7.LUA脚本(lua scripting) 8.Redis集群(redis cluster) 9.慢日志(slow log) 10.延迟监控(latency monitor) 11.事件通知(event notification) 12.高级配

Redis之java增删改查

jedis是java的redis客户端实现,要使用jedis需要添加jedis的maven依赖: <dependency> <groupId>redis.clients</groupId> <artifactId>jedis</artifactId> <version>2.4.2</version> </dependency>redis最简单的使用:Jedis jedis = new Jedis("l

redis JAVA客户端(Jedis)测试使用

一.jedis连接(maven项目) package redis; import net.sf.json.JSONObject; import redis.clients.jedis.Jedis; import redis.clients.jedis.JedisPool; import redis.clients.jedis.JedisPoolConfig; import java.util.*; /** * Created by Administrator on 2016/6/14. */ p

高性能网站架构利器--redis必杀技

目录 1.redis简介 2.redis主从复制实现 3.sentinel集群管理工具实现redis的高可用性 4.redis cluster 4.1.redis cluster环境搭建 4.2.redis cluster增加节点 4.3.redis cluster删除节点 4.4.redis cluster主从手动切换 5.总结 1.redis简介 Redis是一个开源的使用ANSI C语言编写.支持网络.可基于内存亦可持久化的日志型.Key-Value数据库,并提供多种语言的API.从201

Redis 学习之路 (010) - redis命令手册

Redis 键(key) 命令 命令 描述 Redis DEL 命令 该命令用于在 key 存在是删除 key. Redis Dump 命令 序列化给定 key ,并返回被序列化的值. Redis EXISTS 命令 检查给定 key 是否存在. Redis Expire 命令 seconds 为给定 key 设置过期时间. Redis Expireat 命令 EXPIREAT 的作用和 EXPIRE 类似,都用于为 key 设置过期时间. 不同在于 EXPIREAT 命令接受的时间参数是 UN