redis分片怎么突破物理内存限制
发布网友
发布时间：2022-04-21 10:48
共2个回答
懂视网
时间：2022-05-02 14:18
redis确实是一个好东西，一个如此强大的内存数据结构服务器，全内存存储，有些场景，恰恰你会死在全内存上，而且相对ssd硬盘来说，内存还是
太小了。内存很便宜，但是内存和ssd比起来很贵，况且有些场景你可能根本不需要使用全内存，使用硬盘也许会更能帮助我们节省成本，你可能会说，现
在业界标准已经差不多是kafka了，有时候我们还需要redis里面的hash，也就是说我现在需要kafka + redis 的一个综合体的产品，这就是本篇和大家说到的
ssdb，当然ssdb和kafka还是不能相提并论的哈，毕竟我是在选择一个轻量级的解决方案。
二：ssdb说明
ssdb是一个使用leveldb做为底层存储的nosql数据库，好处就是可以利用redis中的所有数据结构，而且数据还是基于硬盘的，所以可以存储的数据比
redis大的不要太多，官方文档的说法就是用来替代redis的，而且让你眼前一亮的就是，它对.net还是比较友好的，一个很不错的解决方案，不过成熟度不
如redis，大家前期可以当缓存用用，或者存储一些非关键性数据，节省节省内存空间。目前我在项目中用起来了。
1. 使用hash来存customerID 和customerNick的映射关系。
2. 使用List来承载X宝的订单推送。
三：快速搭建
官方下载：http://ssdb.io， 有一点要注意的就是官方文档明确表示，CentOS7的文件句柄设置问题，建议不要在centos7上进行搭建，具体的说明
可以看看这个：http://ssdb.io/docs/zh_cn/config.html ，大家可以用用centos6.5或者ubantu吧。
1. wget下载和unzip解压。
[root@localhost apps]# wget https://codeload.github.com/ideawu/ssdb/zip/master --2017-12-02 03:02:18-- https://codeload.github.com/ideawu/ssdb/zip/master Resolving codeload.github.com (codeload.github.com)... 192.30.255.120, 192.30.255.121 Connecting to codeload.github.com (codeload.github.com)|192.30.255.120|:443... connected. HTTP request sent, awaiting response... 200 OK Length: 1595060 (1.5M) [application/zip] Saving to: ‘master’ 100%[==================================================================>] 1,595,060 69.3KB/s in 36s 2017-12-02 03:02:57 (43.7 KB/s) - ‘master’ saved [1595060/1595060] [root@localhost apps]#unzip master [root@localhost apps]# ls master ssdb-master
2. 使用make对C++代码进行编译
[root@localhost ssdb-master]# make
3. 编译完之后，一泡尿的功夫，这个ssdb-server可执行文件就出来了。
[root@localhost ssdb-master]# ls api ChangeLog Dockerfile Makefile ssdb.conf tools version build_config.mk data docs README.md ssdb-server var build.sh deps LICENSE src ssdb_slave.conf var_slave
4.然后我们把ssdb.conf配置一下
这里面有三个配置要注意下：
<1> work_dir： 存放data和meta的目录，可以在ssdb-master文件夹下mkdir data文件夹。
<2> ip：设为0.0.0.0，让所有的主机都能够连接上来。
<3> port 8888 ：这个是默认的ssdbserver端口号，大家可以看情况修改。
完整配置如下：
# ssdb-server config # MUST indent by TAB! # absolute path, or relative to path of this file, directory must exists work_dir = /usr/apps/ssdb-master/data pidfile = ./var/ssdb.pid server: ip: 0.0.0.0 port: 8888 # bind to public ip #ip: 0.0.0.0 # format: allow|deny: all|ip_prefix # multiple allows or denys is supported #deny: all #allow: 127.0.0.1 #allow: 192.168 # auth password must be at least 32 characters #auth: very-strong-password #readonly: yes # in ms, to log slowlog with WARN level #slowlog_timeout: 5 replication: binlog: yes # Limit sync speed to *MB/s, -1: no limit sync_speed: -1 slaveof: # to identify a master even if it moved(ip, port changed) # if set to empty or not defined, ip:port will be used. #id: svc_2 # sync|mirror, default is sync #type: sync #host: localhost #port: 8889 logger: level: debug output: log.txt rotate: size: 1000000000 leveldb: # in MB cache_size: 500 # in MB write_buffer_size: 64 # in MB/s compaction_speed: 1000 # yes|no compression: yes
5. 启动ssdb-server,指定一下配置文件，采取静默启动
[root@localhost ssdb-master]# ./ssdb-server ./ssdb.conf -d ssdb-server 1.9.6 Copyright (c) 2012-2015 ssdb.io [root@localhost ssdb-master]# netstat -tlnp Active Internet connections (only servers) Proto Recv-Q Send-Q Local Address Foreign Address State PID/Program name tcp 0 0 192.168.122.1:53 0.0.0.0:* LISTEN 1869/dnsmasq tcp 0 0 0.0.0.0:22 0.0.0.0:* LISTEN 1115/sshd tcp 0 0 127.0.0.1:631 0.0.0.0:* LISTEN 1117/cupsd tcp 0 0 0.0.0.0:8888 0.0.0.0:* LISTEN 12994/./ssdb-server tcp 0 0 127.0.0.1:25 0.0.0.0:* LISTEN 1627/master tcp6 0 0 :::22 :::* LISTEN 1115/sshd tcp6 0 0 ::1:631 :::* LISTEN 1117/cupsd tcp6 0 0 ::1:25 :::* LISTEN 1627/master [root@localhost ssdb-master]#
可以看到，上面的8888端口已经成功开启，没毛病。
四：使用C#客户端
在http://ssdb.io/docs/zh_cn/clients.html上面列出了各个语言的客户端SDK，这里我就选择C#的SDK：https://github.com/ssdb/dotnetssdb。
可以看到，里面没啥东西，就三个破文件，里面并没有实现ssdb应该有的所有功能，所以大家可以根据自己的需要进行封装，连接池啥的都要
你自己根据需要实现吧，好了，接下来我用hash简单的测试一下：
class Program
{
static void Main(string[] args)
{
Client client = new Client("192.168.23.153", 8888);
client.hset("customerHash", "customerID", "1000");
string val = string.Empty;
client.hget("customerHash", "customerID", out val);
Debug.WriteLine("customerID= " + val);
client.close();
}
}
好了，本篇先就说到这里，希望对你有帮助。
全内存的redis用习惯了？那能突破内存限制类似redis的nosql产品ssdb呢？
标签：代码 buffer 官方下载 log 替代 紧急 端口号 基于 tools
热心网友
时间：2022-05-02 11:26
void *privdata;
/Ǘ、redis 中的每一个数据库。如果为true直接返回NULL;/ 记录 rehash 进度的标志，_dictRehashStep 用于对数据库字典、以及哈希键的字典进行被动 rehash，这里不作赘述，就有必要了解一下dict 的结构了、计算哈希表， redis 先判断当前库的0号哈希表是否为空，当根据key的哈希值找到该列表后，如果列表的长度大于1、当拿到一个key后，会预先分配 16 个数据库（该数量可以通过配置文件配置），所有数据库保存到结构 redisServer 的一个成员 redisServer。
1，则直接结束.id 存储着 redis 数据库以整数表示的号码。redisDb.dict 存储着该库所有的键值对数据，根据当前字典与key进行哈希值的计算。
4、根据哈希值与当前字典计算哈希表的索引值。
5、根据索引值在哈希表中取出链表; 哈希表（2个）
dictht ht[2];
/。
二，那么我们需要遍历该链表来找到我们所查找的key。
3，值为-1 表示 rehash 未进行
int rehashidx，再进行了次rehash判断.dict中.db 数组中。当我们选择数据库 select number 时，程序直接通过 redisServer;
由上述的结构可以看出，redis 的字典使用哈希表作为其底层实现。dict 类型使用的两个指向哈希表的指针、当redis 拿到一个key 时，如果找到该key的位置。
了解了上述知识之后，我们就可以来分析redis如果在内存找到一个key了：if (dict->ht[0].size == 0)，其中 0 号哈希表（ht[0]）主要用于存储数据库的所有键值，而1号哈希表主要用于程序对 0 号哈希表进行 rehash 时使用，rehash 一般是在添加新值时会触发，这里不做过多的赘述。所以redis 中查找一个key：
typedef struct dict {
/，那么我们要知道如果找到key的位置、既然我们知道一个数据库的所有键值都存储在redisDb.expires 保存着每一个键的过期时间。
2、当redis 服务器初始化时，遍历该链表找到key的位置。有时候当程序需要知道自己是在哪个数据库时，直接读取 redisDb，如果未在rehashing。当然，一般情况下链表长度都为是1，所以时间复杂度可看作o(1)，都由一个 redisDb 的结构存储。其中。
到此我们就找到了key在内存中的位置了，其实就是对进行该dict 结构中的 ht[0] 进行查找操作。
4、既然是哈希，那么我们知道就会有哈希碰撞，那么当多个键哈希之后为同一个值怎么办呢？redis采取链表的方式来存储多个哈希碰撞的键。也就是说。
3，redisDb，即。如果正在进行rehash，将调用一次_dictRehashStep方法。一般情况，该链表长度为1。
6、当 ht[0] 查找完了之后.db[number] 来切换数据库; 当前正在运作的安全迭代器数量
int iterators;
} dict;/ 特定于类型的处理函数
dictType *type;
/
//
