-
Notifications
You must be signed in to change notification settings - Fork 0
/
huan-cun-wen-ti-ji-chu-li.html
287 lines (247 loc) · 16.6 KB
/
huan-cun-wen-ti-ji-chu-li.html
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
286
287
<!DOCTYPE html>
<html lang="en">
<head>
<meta charset="utf-8">
<meta http-equiv="X-UA-Compatible" content="IE=edge">
<meta name="viewport" content="width=device-width, initial-scale=1.0">
<meta name="author" content="CatsAction" />
<meta property="og:type" content="article" />
<meta name="twitter:card" content="summary">
<meta name="keywords" content="Redis, Memcached, Cache, " />
<meta property="og:title" content="缓存问题及处理"/>
<meta property="og:url" content="./huan-cun-wen-ti-ji-chu-li.html" />
<meta property="og:description" content="前述 本篇收集Redis一些常见问题及解决方法，最后面是一些Redis资料链接。 Memcached和Redis的区别 Memcached单进程多线程，而Redis单进程单线程。处理小数据时，Redis性能比Memcached高，而在100K以上的数据中，Memcached性能要高于Redis。 Memcached只支持key-value数据类型，而Redis支持丰富的数据类型。 Redis并不是将所有数据存储在内存中。当内存容量用完时，Redis会swap一部分数据到磁盘上，而且也支持数据持久化。 从内存利用率来讲，使用简单的key-value存储的话，Memcached的内存利用率更高。而如果Redis采用hash结构来做key-value存储，由于其组合式的压缩，其内存利用率会高于Memcached。 Memcached本身并不支持分布式，因此只能在客户端通过像一致性哈希这样的分布式算法来实现Memcached的分布式存储。相较于Memcached只能采用客户端实现分布式存储，Redis更偏向于在服务器端构建分布式存储。 Redis支持服务端的数据操作，而Memcached需要将数据拿到客户端修改再set回去，增加了io操作。 关于Memcached和redis对比，可以参考： Memcached和Redis区别 缓存的一些问题 1，缓存穿透 定义: 所谓缓存穿透，就是访问根本不存在的数据。当访问一个数据时，缓存不存在，则会直接查询数据库。数据库也不存在，就返回空。 如果有恶意用户访问大量不存在的数据，则会给数据库造成很大压力。 解决方法: BloomFilter。类似于hash表的算法。把所有可能的查询生成一个bitmap。每次请求数据时 …" />
<meta property="og:site_name" content="CatsAction's blog" />
<meta property="og:article:author" content="CatsAction" />
<meta property="og:article:published_time" content="2017-01-22T00:00:00+08:00" />
<meta name="twitter:title" content="缓存问题及处理">
<meta name="twitter:description" content="前述 本篇收集Redis一些常见问题及解决方法，最后面是一些Redis资料链接。 Memcached和Redis的区别 Memcached单进程多线程，而Redis单进程单线程。处理小数据时，Redis性能比Memcached高，而在100K以上的数据中，Memcached性能要高于Redis。 Memcached只支持key-value数据类型，而Redis支持丰富的数据类型。 Redis并不是将所有数据存储在内存中。当内存容量用完时，Redis会swap一部分数据到磁盘上，而且也支持数据持久化。 从内存利用率来讲，使用简单的key-value存储的话，Memcached的内存利用率更高。而如果Redis采用hash结构来做key-value存储，由于其组合式的压缩，其内存利用率会高于Memcached。 Memcached本身并不支持分布式，因此只能在客户端通过像一致性哈希这样的分布式算法来实现Memcached的分布式存储。相较于Memcached只能采用客户端实现分布式存储，Redis更偏向于在服务器端构建分布式存储。 Redis支持服务端的数据操作，而Memcached需要将数据拿到客户端修改再set回去，增加了io操作。 关于Memcached和redis对比，可以参考： Memcached和Redis区别 缓存的一些问题 1，缓存穿透 定义: 所谓缓存穿透，就是访问根本不存在的数据。当访问一个数据时，缓存不存在，则会直接查询数据库。数据库也不存在，就返回空。 如果有恶意用户访问大量不存在的数据，则会给数据库造成很大压力。 解决方法: BloomFilter。类似于hash表的算法。把所有可能的查询生成一个bitmap。每次请求数据时 …">
<title>缓存问题及处理 ·
CatsAction's blog
</title>
<link href="//netdna.bootstrapcdn.com/twitter-bootstrap/2.3.2/css/bootstrap-combined.min.css" rel="stylesheet">
<link rel="icon" type="image/x-icon" href="./theme/image/logo.ico" />
<link rel="stylesheet" type="text/css" href="./theme/css/elegant.prod.css" media="screen">
<link rel="stylesheet" type="text/css" href="./theme/css/custom.css" media="screen">
</head>
<body>
<div id="content">
<div class="navbar navbar-static-top">
<div class="navbar-inner">
<div class="container-fluid">
<a class="btn btn-navbar" data-toggle="collapse" data-target=".nav-collapse">
<span class="icon-bar"></span>
<span class="icon-bar"></span>
<span class="icon-bar"></span>
</a>
<a class="brand" href="./"><span class=site-name>CatsAction's blog</span></a>
<div class="nav-collapse collapse">
<ul class="nav pull-right top-menu">
<li >
<a href=
.
>Home</a>
</li>
<li ><a href="./categories.html">Categories</a></li>
<li ><a href="./tags.html">Tags</a></li>
<li ><a href="./archives.html">Archives</a></li>
<li><form class="navbar-search" action="./search.html" onsubmit="return validateForm(this.elements['q'].value);"> <input type="text" class="search-query" placeholder="Search" name="q" id="tipue_search_input"></form></li>
</ul>
</div>
</div>
</div>
</div>
<div class="container-fluid">
<div class="row-fluid">
<div class="span1"></div>
<div class="span10">
<article itemscope>
<div class="row-fluid">
<header class="page-header span10 offset2">
<h1>
<a href="./huan-cun-wen-ti-ji-chu-li.html">
缓存问题及处理
</a>
</h1>
</header>
</div>
<div class="row-fluid">
<div class="span8 offset2 article-content">
<h2>前述</h2>
<p>本篇收集Redis一些常见问题及解决方法，最后面是一些Redis资料链接。</p>
<h2>Memcached和Redis的区别</h2>
<ul>
<li>
<p>Memcached单进程多线程，而Redis单进程单线程。处理小数据时，Redis性能比Memcached高，而在100K以上的数据中，Memcached性能要高于Redis。</p>
</li>
<li>
<p>Memcached只支持key-value数据类型，而Redis支持丰富的数据类型。</p>
</li>
<li>
<p>Redis并不是将所有数据存储在内存中。当内存容量用完时，Redis会swap一部分数据到磁盘上，而且也支持数据持久化。</p>
</li>
<li>
<p>从内存利用率来讲，使用简单的key-value存储的话，Memcached的内存利用率更高。而如果Redis采用hash结构来做key-value存储，由于其组合式的压缩，其内存利用率会高于Memcached。</p>
</li>
<li>
<p>Memcached本身并不支持分布式，因此只能在客户端通过像一致性哈希这样的分布式算法来实现Memcached的分布式存储。相较于Memcached只能采用客户端实现分布式存储，Redis更偏向于在服务器端构建分布式存储。</p>
</li>
<li>
<p>Redis支持服务端的数据操作，而Memcached需要将数据拿到客户端修改再set回去，增加了io操作。</p>
</li>
</ul>
<p>关于Memcached和redis对比，可以参考：</p>
<p><a href="http://www.360doc.com/content/18/0309/11/11935121_735604822.shtml">Memcached和Redis区别</a></p>
<h2>缓存的一些问题</h2>
<h5>1，缓存穿透</h5>
<p><em>定义:</em></p>
<p>所谓缓存穿透，就是访问根本不存在的数据。当访问一个数据时，缓存不存在，则会直接查询数据库。数据库也不存在，就返回空。
如果有恶意用户访问大量不存在的数据，则会给数据库造成很大压力。</p>
<p><em>解决方法:</em></p>
<ul>
<li>BloomFilter。类似于hash表的算法。把所有可能的查询生成一个bitmap。每次请求数据时，都通过BloomFilter查看数据是否存在。</li>
<li>缓存空值，并设置一个较短的过期时间。这样同个不存在的数据查询请求反复出现时，就能命中缓存。</li>
</ul>
<h5>2，缓存雪崩</h5>
<p><em>定义:</em></p>
<p>缓存雪崩，就是缓存中大量数据同时失效。此时大量的数据请求就好转发到数据库，从而给数据库造成压力。</p>
<p><em>解决方法:</em></p>
<ul>
<li>让失效时间不同。比如一定范围的随机时间，这样就避免了大量缓存同时失效。缺点是粒度不好把握。</li>
<li>可以限制并发量（比如利用锁和同步机制）。这样即使缓存大量失效，也不会有大量请求造成数据库压力。不过这种方法造成了服务性能的下降。</li>
</ul>
<h5>缓存击穿</h5>
<p><em>定义:</em></p>
<p>缓存击穿是缓存雪崩的特例。当某些热点数据失效时，它的请求会被发往数据库。在数据库请求并更新缓存的这段时间，如果有大量的热量请求，就会给数据库造成很大的压力。</p>
<p><em>解决方法:</em></p>
<ul>
<li>增加二级缓存，不同的缓存设置不同的失效时间。这个解决方案也适用于缓存雪崩。</li>
<li>基于LRU的缓存换出策略。</li>
</ul>
<hr>
<h2>后述</h2>
<p><em>一些资料：</em></p>
<p><a href="https://zhuanlan.zhihu.com/p/28073983">Redis技术集</a>收集了一些Redis的技术讲解和使用场景按理。</p>
<p><a href="https://yq.aliyun.com/articles/290865">阿里云缓存架构</a></p>
<p><a href="http://www.rainybowe.com/blog/2017/07/13/%E7%A5%9E%E5%A5%87%E7%9A%84HyperLogLog%E7%AE%97%E6%B3%95/index.html">神奇的HyperLogLog算法</a></p>
<p><a href="https://zhuanlan.zhihu.com/p/58358264">Redis HyperLogLog结构</a></p>
<p><a href="https://segmentfault.com/a/1190000008188655">Redis Bitmap结构</a></p>
<p><a href="https://www.jianshu.com/p/81bf3baa64e5">Redis Geo实战</a></p>
<p><a href="https://zhuanlan.zhihu.com/p/35940647">GeoHash讲解</a></p>
<p><a href="https://github.com/GongDexing/Geohash">GeoHash简单代码展示</a></p>
<p><a href="http://doc.redisfans.com/">Redis命令参考</a></p>
<hr />
<aside>
<nav>
<ul class="articles-timeline">
<li class="previous-article">« <a href="./guan-yu-tcpde-yi-xie-wen-ti.html"
title="Previous: 关于TCP的一些问题">关于TCP的一些问题</a></li>
<li class="next-article"><a href="./rediszhi-shi-zheng-li.html"
title="Next: Redis知识整理">Redis知识整理</a> »</li>
</ul>
</nav>
</aside>
</div>
<section id="article-sidebar" class="span2">
<h4>Published</h4>
<time itemprop="dateCreated" datetime="2017-01-22T00:00:00+08:00"> 1
22, 2017</time>
<!---->
<h4>Category</h4>
<a class="category-link"
href="./categories.html#cache-ref">Cache</a>
<h4>Tags</h4>
<ul class="list-of-tags tags-in-article">
<li><a href="./tags.html#memcached-ref">Memcached
<span>2</span>
</a></li>
<li><a href="./tags.html#redis-ref">Redis
<span>11</span>
</a></li>
</ul>
<h4>Stay in Touch</h4>
<div id="sidebar-social-link">
<a href="mailto:catsaction@126.com" title="My Email Address" target="_blank" rel="nofollow noopener noreferrer">
<svg xmlns="http://www.w3.org/2000/svg" aria-label="Mail" role="img" viewBox="0 0 512 512"><rect width="512" height="512" rx="15%" fill="#328cff"/><path d="m250 186c-46 0-69 35-69 74 0 44 29 72 68 72 43 0 73-32 73-75 0-44-34-71-72-71zm-1-37c30 0 57 13 77 33 0-22 35-22 35 1v150c-1 10 10 16 16 9 25-25 54-128-14-187-64-56-149-47-195-15-48 33-79 107-49 175 33 76 126 99 182 76 28-12 41 26 12 39-45 19-168 17-225-82-38-68-36-185 67-248 78-46 182-33 244 32 66 69 62 197-2 246-28 23-71 1-71-32v-11c-20 20-47 32-77 32-57 0-108-51-108-108 0-58 51-110 108-110" fill="#fff"/></svg>
</a>
<a href="https://github.com/boyaziqi" title="catsaction Github Repository" target="_blank" rel="nofollow noopener noreferrer">
<svg xmlns="http://www.w3.org/2000/svg" aria-label="GitHub" role="img" viewBox="0 0 512 512"><rect width="512" height="512" rx="15%" fill="#1B1817"/><path fill="#fff" d="M335 499c14 0 12 17 12 17H165s-2-17 12-17c13 0 16-6 16-12l-1-50c-71 16-86-28-86-28-12-30-28-37-28-37-24-16 1-16 1-16 26 2 40 26 40 26 22 39 59 28 74 22 2-17 9-28 16-35-57-6-116-28-116-126 0-28 10-51 26-69-3-6-11-32 3-67 0 0 21-7 70 26 42-12 86-12 128 0 49-33 70-26 70-26 14 35 6 61 3 67 16 18 26 41 26 69 0 98-60 120-117 126 10 8 18 24 18 48l-1 70c0 6 3 12 16 12z"/></svg>
</a>
<a href="https://www.linkedin.com/feed/" title="My LinkedIn" target="_blank" rel="nofollow noopener noreferrer">
<svg xmlns="http://www.w3.org/2000/svg" aria-label="LinkedIn" role="img" viewBox="0 0 512 512" fill="#fff"><rect width="512" height="512" rx="15%" fill="#0077b5"/><circle cx="142" cy="138" r="37"/><path stroke="#fff" stroke-width="66" d="M244 194v198M142 194v198"/><path d="M276 282c0-20 13-40 36-40 24 0 33 18 33 45v105h66V279c0-61-32-89-76-89-34 0-51 19-59 32"/></svg>
</a>
</div>
<h4>Friendship Links</h4>
<ul class="list-of-tags tags-in-article">
<li>
<a href="https://leetcode-cn.com/" title="力扣中国站点" target="_blank" rel="nofollow noopener noreferrer">
LeetCode
</a>
</li>
<li>
<a href="https://coolshell.cn/about" title="陈皓酷壳" target="_blank" rel="nofollow noopener noreferrer">
CoolShell
</a>
</li>
<li>
<a href="https://yikun.github.io/" title="姜毅坤博客" target="_blank" rel="nofollow noopener noreferrer">
Yikun
</a>
</li>
<li>
<a href="https://www.nowcoder.com/" title="牛客网" target="_blank" rel="nofollow noopener noreferrer">
牛客网
</a>
</li>
</ul>
</section>
</div>
</article>
</div>
<div class="span1"></div>
</div>
</div>
</div>
<footer>
<div>
<span class="site-name">CatsAction's blog</span> - It's a wonderful world
</div>
<div id="fpowered">
Powered by: <a href="http://getpelican.com/" title="Pelican Home Page" target="_blank" rel="nofollow noopener noreferrer">Pelican</a>
Theme: <a href="https://elegant.oncrashreboot.com/" title="Theme Elegant Home Page" target="_blank" rel="nofollow noopener noreferrer">Elegant</a>
</div>
</footer> <script src="//code.jquery.com/jquery.min.js"></script>
<script src="//netdna.bootstrapcdn.com/twitter-bootstrap/2.3.2/js/bootstrap.min.js"></script>
<script>
function validateForm(query)
{
return (query.length > 0);
}
</script>
<script>
(function () {
if (window.location.hash.match(/^#comment-\d+$/)) {
$('#comment_thread').collapse('show');
}
})();
window.onhashchange=function(){
if (window.location.hash.match(/^#comment-\d+$/))
window.location.reload(true);
}
$('#comment_thread').on('shown', function () {
var link = document.getElementById('comment-accordion-toggle');
var old_innerHTML = link.innerHTML;
$(link).fadeOut(200, function() {
$(this).text('Click here to hide comments').fadeIn(200);
});
$('#comment_thread').on('hidden', function () {
$(link).fadeOut(200, function() {
$(this).text(old_innerHTML).fadeIn(200);
});
})
})
</script>
</body>
<!-- Theme: Elegant built for Pelican
License : MIT -->
</html>