提高MySQL中InnoDB表BLOB列的存储效率的教程
时间:2015-05-11 01:36 来源:linux.it.net.cn 作者:IT
首先,介绍下关于InnoDB引擎存储格式的几个要点:
1、InnoDB可以选择使用共享表空间或者是独立表空间方式,建议使用独立表空间,便于管理、维护。启用 innodb_file_per_table 选项,5.5以后可以在线动态修改生效,并且执行 ALTER TABLE xx ENGINE = InnoDB 将现有表转成独立表空间,早于5.5的版本,修改完这个选项后,需要重启才能生效;
2、InnoDB的data page默认16KB,5.6版本以后,新增选项 innodb_page_size 可以修改,在5.6以前的版本,只能修改源码重新编译,但并不推荐修改这个配置,除非你非常清楚它有什么优缺点;
3、InnoDB的data page在有新数据写入时,会预留1/16的空间,预留出来的空间可用于后续的新纪录写入,减少频繁的新增data page的开销;
4、每个data page,至少需要存储2行记录。因此理论上行记录最大长度为8KB,但事实上应该更小,因为还有一些InnoDB内部数据结构要存储;
5、受限于InnoDB存储方式,如果数据是顺序写入的话,最理想的情况下,data page的填充率是15/16,但一般没办法保证完全的顺序写入,因此,data page的填充率一般是1/2到15/16。因此每个InnoDB表都最好要有一个自增列作为主键,使得新纪录写入尽可能是顺序的;
6、当data page填充率不足1/2时,InnoDB会进行收缩,释放空闲空间;
7、MySQL 5.6版本的InnoDB引擎当前支持COMPACT、REDUNDANT、DYNAMIC、COMPRESSED四种格式,默认是COMPACT格式,COMPRESSED用的很少且不推荐(见下一条),如果需要用到压缩特性的话,可以直接考虑TokuDB引擎;
8、COMPACT行格式相比REDUNDANT,大概能节省20%的存储空间,COMPRESSED相比COMPACT大概能节省50%的存储空间,但会导致TPS下降了90%。因此强烈不推荐使用COMPRESSED行格式;
9、当行格式为DYNAMIC或COMPRESSED时,TEXT/BLOB之类的长列(long column,也有可能是其他较长的列,不一定只有TEXT/BLOB类型,看具体情况)会完全存储在一个独立的data page里,聚集索引页中只使用20字节的指针指向新的page,这就是所谓的off-page,类似ORACLE的行迁移,磁盘空间浪费较严重,且I/O性能也较差。因此,强烈不建议使用BLOB、TEXT、超过255长度的VARCHAR列类型;
10、当InnoDB的文件格式(innodb_file_format)设置为Antelope,并且行格式为COMPACT 或 REDUNDANT 时,BLOB、TEXT或者长VARCHAR列只会将其前768字节存储在聚集索页中(最大768字节的作用是便于创建前缀索引/prefix index),其余更多的内容存储在额外的page里,哪怕只是多了一个字节。因此,所有列长度越短越好;
11、在off-page中存储的BLOB、TEXT或者长VARCHAR列的page是独享的,不能共享。因此强烈不建议在一个表中使用多个长列。
综上,如果在实际业务中,确实需要在InnoDB表中存储BLOB、TEXT、长VARCHAR列时,有下面几点建议:
1、尽可能将所有数据序列化、压缩之后,存储在同一个列里,避免发生多次off-page;
2、实际最大存储长度低于255的列,转成VARCHAR或者CHAR类型(如果是变长数据二者没区别,如果是定长数据,则使用CHAR类型);
3、如果无法将所有列整合到一个列,可以退而求其次,根据每个列最大长度进行排列组合后拆分成多个子表,尽量是的每个子表的总行长度小于8KB,减少发生off-page的频率;
4、上述建议是在data page为默认的16KB前提下,如果修改成8KB或者其他大小,请自行根据上述理论进行测试,找到最合适的值;
5、字符型列长度小于255时,无论采用CHAR还是VARCHAR来存储,或者把VARCHAR列长度定义为255,都不会导致实际表空间增大;
6、一般在游戏领域会用到比较多的BLOB列类型,游戏界同行可以关注下。
下面是测试验证过程,有耐心的同学可以慢慢看:
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
286
287
288
289
290
291
292
293
294
295
296
297
298
299
300
301
302
303
304
305
306
307
308
309
310
311
312
313
314
315
316
317
318
319
320
321
322
323
324
325
326
327
328
329
330
331
332
333
334
335
336
337
338
339
340
341
342
343
344
345
346
347
348
349
350
351
352
353
354
355
356
357
358
359
360
361
362
363
364
365
366
367
368
369
370
371
372
373
#
# 测试案例:InnoDB中长列存储效率
# 测试场景描述:
# 在InnoDB表中存储64KB的数据,对比各种不同存储方式 # 每个表写入5000行记录,观察最后表空间文件大小对比
#
#表0:所有数据存储在一个BLOB列中
CREATE
TABLE
`t_longcol_0` (
`id`
int
(10) unsigned
NOT
NULL
AUTO_INCREMENT,
`longcol` blob
NOT
NULL
COMMENT
'store all data in a blob column'
,
PRIMARY
KEY
(`id`)
) ENGINE=InnoDB
DEFAULT
CHARSET=utf8 ROW_FORMAT=COMPACT;
#相应的数据写入存储过程:mysp_longcol_0_ins()
CREATE
PROCEDURE
`mysp_longcol_0_ins`(
in
cnt
int
)
begin
set
@i = 1;
while @i < cnt do
insert
into
t_longcol_0(longcol)
select
repeat(
'a'
,65535);
set
@i = @i + 1;
end
while;
end
;
#表1:将64KB字节平均存储在9个列中
CREATE
TABLE
`t_longcol_1` (
`id`
int
(10) unsigned
NOT
NULL
AUTO_INCREMENT,
`longcol1` blob
NOT
NULL
COMMENT
'store all data in 9 blob columns'
,
`longcol2` blob
NOT
NULL
,
`longcol3` blob
NOT
NULL
,
`longcol4` blob
NOT
NULL
,
`longcol5` blob
NOT
NULL
,
`longcol6` blob
NOT
NULL
,
`longcol7` blob
NOT
NULL
,
`longcol8` blob
NOT
NULL
,
`longcol9` blob
NOT
NULL
,
PRIMARY
KEY
(`id`)
) ENGINE=InnoDB
DEFAULT
CHARSET=utf8;
#相应的数据写入存储过程:mysp_longcol_1_ins()
CREATE
PROCEDURE
`mysp_longcol_1_ins`(
in
cnt
int
)
begin
set
@i = 1;
while @i < cnt do
insert
into
t_longcol_1(longcol1,longcol2,longcol3,longcol4,longcol5,longcol6,longcol7,longcol8,longcol9)
select
repeat(
'a'
,7500),
repeat(
'a'
,7500),
repeat(
'a'
,7500),
repeat(
'a'
,7500),
repeat(
'a'
,7500),
repeat(
'a'
,7500),
repeat(
'a'
,7500),
repeat(
'a'
,7500),
repeat(
'a'
,5535);
set
@i = @i + 1;
end
while;
end
;
#表2:将64KB数据离散存储在多个BLOB列中
CREATE
TABLE
`t_longcol_2` (
`id`
int
(10) unsigned
NOT
NULL
AUTO_INCREMENT,
`longcol1` blob
NOT
NULL
COMMENT
'store 100 bytes data'
,
`longcol2` blob
NOT
NULL
COMMENT
'store 100 bytes data'
,
`longcol3` blob
NOT
NULL
COMMENT
'store 100 bytes data'
,
`longcol4` blob
NOT
NULL
COMMENT
'store 100 bytes data'
,
`longcol5` blob
NOT
NULL
COMMENT
'store 100 bytes data'
,
`longcol6` blob
NOT
NULL
COMMENT
'store 255 bytes data'
,
`longcol7` blob
NOT
NULL
COMMENT
'store 368 bytes data'
,
`longcol8` blob
NOT
NULL
COMMENT
'store 496 bytes data'
,
`longcol9` blob
NOT
NULL
COMMENT
'store 512 bytes data'
,
`longcol10` blob
NOT
NULL
COMMENT
'store 640 bytes data'
,
`longcol11` blob
NOT
NULL
COMMENT
'store 768 bytes data'
,
`longcol12` blob
NOT
NULL
COMMENT
'store 912 bytes data'
,
`longcol13` blob
NOT
NULL
COMMENT
'store 1024 bytes data'
,
`longcol14` blob
NOT
NULL
COMMENT
'store 2048 bytes data'
,
`longcol15` blob
NOT
NULL
COMMENT
'store 3082 bytes data'
,
`longcol16` blob
NOT
NULL
COMMENT
'store 4096 bytes data'
,
`longcol17` blob
NOT
NULL
COMMENT
'store 8192 bytes data'
,
`longcol18` blob
NOT
NULL
COMMENT
'store 16284 bytes data'
,
`longcol19` blob
NOT
NULL
COMMENT
'store 20380 bytes data'
,
`longcol20` blob
NOT
NULL
COMMENT
'store 5977 bytes data'
,
PRIMARY
KEY
(`id`)
) ENGINE=InnoDB
DEFAULT
CHARSET=utf8;
#相应的数据写入存储过程:mysp_longcol_1_ins()
CREATE
PROCEDURE
`mysp_longcol_1_ins`(
in
cnt
int
)
begin
set
@i = 1;
while @i < cnt do
insert
into
t_longcol_2(longcol1,longcol2,longcol3,longcol4,longcol5,longcol6,longcol7,longcol8,longcol9,longcol10,
longcol11,longcol12,longcol13,longcol14,longcol15,longcol16,longcol17,longcol18,longcol19,longcol20)
select
repeat(
'a'
,100),
repeat(
'a'
,100),
repeat(
'a'
,100),
repeat(
'a'
,100),
repeat(
'a'
,100),
repeat(
'a'
,256),
repeat(
'a'
,368),
repeat(
'a'
,496),
repeat(
'a'
,512),
repeat(
'a'
,640),
repeat(
'a'
,768),
repeat(
'a'
,912),
repeat(
'a'
,1024),
repeat(
'a'
,2048),
repeat(
'a'
,3082),
repeat(
'a'
,4096),
repeat(
'a'
,8192),
repeat(
'a'
,16284),
repeat(
'a'
,20380),
repeat(
'a'
,5977);
set
@i = @i + 1;
end
while;
end
;
#表3:将64KB数据离散存储在多个
CHAR
、
VARCHAR
、BLOB列中
CREATE
TABLE
`t_longcol_3` (
`id`
int
(10) unsigned
NOT
NULL
AUTO_INCREMENT,
`longcol1`
char
(100)
NOT
NULL
DEFAULT
''
COMMENT
'store 100 bytes data'
,
`longcol2`
char
(100)
NOT
NULL
DEFAULT
''
COMMENT
'store 100 bytes data'
,
`longcol3`
char
(100)
NOT
NULL
DEFAULT
''
COMMENT
'store 100 bytes data'
,
`longcol4`
char
(100)
NOT
NULL
DEFAULT
''
COMMENT
'store 100 bytes data'
,
`longcol5`
char
(100)
NOT
NULL
DEFAULT
''
COMMENT
'store 100 bytes data'
,
`longcol6`
varchar
(256)
NOT
NULL
DEFAULT
''
COMMENT
'store 255 bytes data'
,
`longcol7`
varchar
(368)
NOT
NULL
DEFAULT
''
COMMENT
'store 368 bytes data'
,
`longcol8`
varchar
(496)
NOT
NULL
DEFAULT
''
COMMENT
'store 496 bytes data'
,
`longcol9`
varchar
(512)
NOT
NULL
DEFAULT
''
COMMENT
'store 512 bytes data'
,
`longcol10`
varchar
(640)
NOT
NULL
DEFAULT
''
COMMENT
'store 640 bytes data'
,
`longcol11`
varchar
(768)
NOT
NULL
DEFAULT
''
COMMENT
'store 768 bytes data'
,
`longcol12`
varchar
(912)
NOT
NULL
DEFAULT
''
COMMENT
'store 912 bytes data'
,
`longcol13`
varchar
(1024)
NOT
NULL
DEFAULT
''
COMMENT
'store 1024 bytes data'
,
`longcol14`
varchar
(2048)
NOT
NULL
DEFAULT
''
COMMENT
'store 2048 bytes data'
,
`longcol15`
varchar
(3082)
NOT
NULL
DEFAULT
''
COMMENT
'store 3082 bytes data'
,
`longcol16`
varchar
(4096)
NOT
NULL
DEFAULT
''
COMMENT
'store 4096 bytes data'
,
`longcol17` blob
NOT
NULL
COMMENT
'store 8192 bytes data'
,
`longcol18` blob
NOT
NULL
COMMENT
'store 16284 bytes data'
,
`longcol19` blob
NOT
NULL
COMMENT
'store 20380 bytes data'
,
`longcol20`
varchar
(5977)
NOT
NULL
DEFAULT
''
COMMENT
'store 5977 bytes data'
,
PRIMARY
KEY
(`id`)
) ENGINE=InnoDB
DEFAULT
CHARSET=utf8;
#相应的数据写入存储过程:mysp_longcol_3_ins()
CREATE
PROCEDURE
`mysp_longcol_1_ins`(
in
cnt
int
)
begin
set
@i = 1;
while @i < cnt do
insert
into
t_longcol_3(longcol1,longcol2,longcol3,longcol4,longcol5,longcol6,longcol7,longcol8,longcol9,longcol10,
longcol11,longcol12,longcol13,longcol14,longcol15,longcol16,longcol17,longcol18,longcol19,longcol20)
select
repeat(
'a'
,100),
repeat(
'a'
,100),
repeat(
'a'
,100),
repeat(
'a'
,100),
repeat(
'a'
,100),
repeat(
'a'
,256),
repeat(
'a'
,368),
repeat(
'a'
,496),
repeat(
'a'
,512),
repeat(
'a'
,640),
repeat(
'a'
,768),
repeat(
'a'
,912),
repeat(
'a'
,1024),
repeat(
'a'
,2048),
repeat(
'a'
,3082),
repeat(
'a'
,4096),
repeat(
'a'
,8192),
repeat(
'a'
,16284),
repeat(
'a'
,20380),
repeat(
'a'
,5977);
set
@i = @i + 1;
end
while;
end
;
#表4:将64KB数据离散存储在多个
VARCHAR
、BLOB列中,对比t_longcol_3中几个列是
CHAR
的情况
CREATE
TABLE
`t_longcol_4` (
`id`
int
(10) unsigned
NOT
NULL
AUTO_INCREMENT,
`longcol1`
varchar
(100)
NOT
NULL
DEFAULT
''
COMMENT
'store 100 bytes data'
,
`longcol2`
varchar
(100)
NOT
NULL
DEFAULT
''
COMMENT
'store 100 bytes data'
,
`longcol3`
varchar
(100)
NOT
NULL
DEFAULT
''
COMMENT
'store 100 bytes data'
,
`longcol4`
varchar
(100)
NOT
NULL
DEFAULT
''
COMMENT
'store 100 bytes data'
,
`longcol5`
varchar
(100)
NOT
NULL
DEFAULT
''
COMMENT
'store 100 bytes data'
,
`longcol6`
varchar
(256)
NOT
NULL
DEFAULT
''
COMMENT
'store 255 bytes data'
,
`longcol7`
varchar
(368)
NOT
NULL
DEFAULT
''
COMMENT
'store 368 bytes data'
,
`longcol8`
varchar
(496)
NOT
NULL
DEFAULT
''
COMMENT
'store 496 bytes data'
,
`longcol9`
varchar
(512)
NOT
NULL
DEFAULT
''
COMMENT
'store 512 bytes data'
,
`longcol10`
varchar
(640)
NOT
NULL
DEFAULT
''
COMMENT
'store 640 bytes data'
,
`longcol11`
varchar
(768)
NOT
NULL
DEFAULT
''
COMMENT
'store 768 bytes data'
,
`longcol12`
varchar
(912)
NOT
NULL
DEFAULT
''
COMMENT
'store 912 bytes data'
,
`longcol13`
varchar
(1024)
NOT
NULL
DEFAULT
''
COMMENT
'store 1024 bytes data'
,
`longcol14`
varchar
(2048)
NOT
NULL
DEFAULT
''
COMMENT
'store 2048 bytes data'
,
`longcol15`
varchar
(3082)
NOT
NULL
DEFAULT
''
COMMENT
'store 3082 bytes data'
,
`longcol16`
varchar
(4096)
NOT
NULL
DEFAULT
''
COMMENT
'store 4096 bytes data'
,
`longcol17` blob
NOT
NULL
COMMENT
'store 8192 bytes data'
,
`longcol18` blob
NOT
NULL
COMMENT
'store 16284 bytes data'
,
`longcol19` blob
NOT
NULL
COMMENT
'store 20380 bytes data'
,
`longcol20`
varchar
(5977)
NOT
NULL
DEFAULT
''
COMMENT
'store 5977 bytes data'
,
PRIMARY
KEY
(`id`)
) ENGINE=InnoDB
DEFAULT
CHARSET=utf8;
#相应的数据写入存储过程:mysp_longcol_4_ins()
CREATE
PROCEDURE
`mysp_longcol_1_ins`(
in
cnt
int
)
begin
set
@i = 1;
while @i < cnt do
insert
into
t_longcol_4(longcol1,longcol2,longcol3,longcol4,longcol5,longcol6,longcol7,longcol8,longcol9,longcol10,
longcol11,longcol12,longcol13,longcol14,longcol15,longcol16,longcol17,longcol18,longcol19,longcol20)
select
repeat(
'a'
,100),
repeat(
'a'
,100),
repeat(
'a'
,100),
repeat(
'a'
,100),
repeat(
'a'
,100),
repeat(
'a'
,256),
repeat(
'a'
,368),
repeat(
'a'
,496),
repeat(
'a'
,512),
repeat(
'a'
,640),
repeat(
'a'
,768),
repeat(
'a'
,912),
repeat(
'a'
,1024),
repeat(
'a'
,2048),
repeat(
'a'
,3082),
repeat(
'a'
,4096),
repeat(
'a'
,8192),
repeat(
'a'
,16284),
repeat(
'a'
,20380),
repeat(
'a'
,5977);
set
@i = @i + 1;
end
while;
end
;
#表5:将64KB数据离散存储在多个
VARCHAR
、BLOB列中,和t_longcol_4相比,变化在于前面的几个列长度改成了255,但实际存储长度还是100字节
CREATE
TABLE
`t_longcol_5` (
`id`
int
(10) unsigned
NOT
NULL
AUTO_INCREMENT,
`longcol1`
varchar
(255)
NOT
NULL
DEFAULT
''
COMMENT
'store 100 bytes data'
,
`longcol2`
varchar
(255)
NOT
NULL
DEFAULT
''
COMMENT
'store 100 bytes data'
,
`longcol3`
varchar
(255)
NOT
NULL
DEFAULT
''
COMMENT
'store 100 bytes data'
,
`longcol4`
varchar
(255)
NOT
NULL
DEFAULT
''
COMMENT
'store 100 bytes data'
,
`longcol5`
varchar
(255)
NOT
NULL
DEFAULT
''
COMMENT
'store 100 bytes data'
,
`longcol6`
varchar
(256)
NOT
NULL
DEFAULT
''
COMMENT
'store 255 bytes data'
,
`longcol7`
varchar
(368)
NOT
NULL
DEFAULT
''
COMMENT
'store 368 bytes data'
,
`longcol8`
varchar
(496)
NOT
NULL
DEFAULT
''
COMMENT
'store 496 bytes data'
,
`longcol9`
varchar
(512)
NOT
NULL
DEFAULT
''
COMMENT
'store 512 bytes data'
,
`longcol10`
varchar
(640)
NOT
NULL
DEFAULT
''
COMMENT
'store 640 bytes data'
,
`longcol11`
varchar
(768)
NOT
NULL
DEFAULT
''
COMMENT
'store 768 bytes data'
,
`longcol12`
varchar
(912)
NOT
NULL
DEFAULT
''
COMMENT
'store 912 bytes data'
,
`longcol13`
varchar
(1024)
NOT
NULL
DEFAULT
''
COMMENT
'store 1024 bytes data'
,
`longcol14`
varchar
(2048)
NOT
NULL
DEFAULT
''
COMMENT
'store 2048 bytes data'
,
`longcol15`
varchar
(3082)
NOT
NULL
DEFAULT
''
COMMENT
'store 3082 bytes data'
,
`longcol16`
varchar
(4096)
NOT
NULL
DEFAULT
''
COMMENT
'store 4096 bytes data'
,
`longcol17` blob
NOT
NULL
COMMENT
'store 8192 bytes data'
,
`longcol18` blob
NOT
NULL
COMMENT
'store 16284 bytes data'
,
`longcol19` blob
NOT
NULL
COMMENT
'store 20380 bytes data'
,
`longcol20`
varchar
(5977)
NOT
NULL
DEFAULT
''
COMMENT
'store 5977 bytes data'
,
PRIMARY
KEY
(`id`)
) ENGINE=InnoDB
DEFAULT
CHARSET=utf8;
#相应的数据写入存储过程:mysp_longcol_5_ins()
CREATE
PROCEDURE
`mysp_longcol_1_ins`(
in
cnt
int
)
begin
set
@i = 1;
while @i < cnt do
insert
into
t_longcol_5(longcol1,longcol2,longcol3,longcol4,longcol5,longcol6,longcol7,longcol8,longcol9,longcol10,
longcol11,longcol12,longcol13,longcol14,longcol15,longcol16,longcol17,longcol18,longcol19,longcol20)
select
repeat(
'a'
,100),
repeat(
'a'
,100),
repeat(
'a'
,100),
repeat(
'a'
,100),
repeat(
'a'
,100),
repeat(
'a'
,256),
repeat(
'a'
,368),
repeat(
'a'
,496),
repeat(
'a'
,512),
repeat(
'a'
,640),
repeat(
'a'
,768),
repeat(
'a'
,912),
repeat(
'a'
,1024),
repeat(
'a'
,2048),
repeat(
'a'
,3082),
repeat(
'a'
,4096),
repeat(
'a'
,8192),
repeat(
'a'
,16284),
repeat(
'a'
,20380),
repeat(
'a'
,5977);
set
@i = @i + 1;
end
while;
end
;
#从下面开始,参考第3条建议进行分表,每个表所有列长度总和
#分表1,行最大长度 100 + 100 + 100 + 100 + 100 + 255 + 368 + 496 + 512 + 640 + 768 + 912 + 3082 = 7533 字节
CREATE
TABLE
`t_longcol_51` (
`id`
int
(10) unsigned
NOT
NULL
AUTO_INCREMENT,
`longcol1`
varchar
(255)
NOT
NULL
DEFAULT
''
COMMENT
'store 100 bytes data'
,
`longcol2`
varchar
(255)
NOT
NULL
DEFAULT
''
COMMENT
'store 100 bytes data'
,
`longcol3`
varchar
(255)
NOT
NULL
DEFAULT
''
COMMENT
'store 100 bytes data'
,
`longcol4`
varchar
(255)
NOT
NULL
DEFAULT
''
COMMENT
'store 100 bytes data'
,
`longcol5`
varchar
(255)
NOT
NULL
DEFAULT
''
COMMENT
'store 100 bytes data'
,
`longcol6`
varchar
(256)
NOT
NULL
DEFAULT
''
COMMENT
'store 255 bytes data'
,
`longcol7`
varchar
(368)
NOT
NULL
DEFAULT
''
COMMENT
'store 368 bytes data'
,
`longcol8`
varchar
(496)
NOT
NULL
DEFAULT
''
COMMENT
'store 496 bytes data'
,
`longcol9`
varchar
(512)
NOT
NULL
DEFAULT
''
COMMENT
'store 512 bytes data'
,
`longcol10`
varchar
(640)
NOT
NULL
DEFAULT
''
COMMENT
'store 640 bytes data'
,
`longcol11`
varchar
(768)
NOT
NULL
DEFAULT
''
COMMENT
'store 768 bytes data'
,
`longcol12`
varchar
(912)
NOT
NULL
DEFAULT
''
COMMENT
'store 912 bytes data'
,
`longcol15`
varchar
(3082)
NOT
NULL
DEFAULT
''
COMMENT
'store 3082 bytes data'
,
PRIMARY
KEY
(`id`)
) ENGINE=InnoDB
DEFAULT
CHARSET=utf8;
#分表2,行最大长度 1024 + 2048 + 4096 = 7168 字节
CREATE
TABLE
`t_longcol_52` (
`id`
int
(10) unsigned
NOT
NULL
AUTO_INCREMENT,
`longcol13`
varchar
(1024)
NOT
NULL
DEFAULT
''
COMMENT
'store 1024 bytes data'
,
`longcol14`
varchar
(2048)
NOT
NULL
DEFAULT
''
COMMENT
'store 2048 bytes data'
,
`longcol16`
varchar
(4096)
NOT
NULL
DEFAULT
''
COMMENT
'store 4096 bytes data'
,
PRIMARY
KEY
(`id`)
) ENGINE=InnoDB
DEFAULT
CHARSET=utf8;
#分表3,行最大长度 8192 字节
CREATE
TABLE
`t_longcol_53` (
`id`
int
(10) unsigned
NOT
NULL
AUTO_INCREMENT,
`longcol17` blob
NOT
NULL
COMMENT
'store 8192 bytes data'
,
PRIMARY
KEY
(`id`)
) ENGINE=InnoDB
DEFAULT
CHARSET=utf8;
#分表4,行最大长度 16284 + 20380 = 36664 字节
CREATE
TABLE
`t_longcol_54` (
`id`
int
(10) unsigned
NOT
NULL
AUTO_INCREMENT,
`longcol18` blob
NOT
NULL
COMMENT
'store 16284 bytes data'
,
`longcol19` blob
NOT
NULL
COMMENT
'store 20380 bytes data'
,
PRIMARY
KEY
(`id`)
) ENGINE=InnoDB
DEFAULT
CHARSET=utf8;
#分表5,行最大长度 5977 + 4 = 5981 字节
CREATE
TABLE
`t_longcol_55` (
`id`
int
(10) unsigned
NOT
NULL
AUTO_INCREMENT,
`longcol20`
varchar
(5977)
NOT
NULL
DEFAULT
''
COMMENT
'store 5977 bytes data'
,
PRIMARY
KEY
(`id`)
) ENGINE=InnoDB
DEFAULT
CHARSET=utf8;
#相应的数据写入存储过程:mysp_longcol_51_ins()
CREATE
PROCEDURE
`mysp_longcol_51_ins`(
in
cnt
int
)
begin
set
@i = 1;
while @i < cnt do
insert
into
t_longcol_51(longcol1,longcol2,longcol3,longcol4,longcol5,longcol6,longcol7,longcol8,longcol9,longcol10,
longcol11,longcol12,longcol15)
select
repeat(
'a'
,100),
repeat(
'a'
,100),
repeat(
'a'
,100),
repeat(
'a'
,100),
repeat(
'a'
,100),
repeat(
'a'
,256),
repeat(
'a'
,368),
repeat(
'a'
,496),
repeat(
'a'
,512),
repeat(
'a'
,640),
repeat(
'a'
,768),
repeat(
'a'
,912),
repeat(
'a'
,3082);
insert
into
t_longcol_52(longcol13,longcol14,longcol16)
select
repeat(
'a'
,1024),
repeat(
'a'
,2048),
repeat(
'a'
,4096);
insert
into
t_longcol_53(longcol17)
select
repeat(
'a'
,8192);
insert
into
t_longcol_54(longcol18,longcol19)
select
repeat(
'a'
,16284),
repeat(
'a'
,20380);
insert
into
t_longcol_55(longcol20)
select
repeat(
'a'
,5977);
set
@i = @i + 1;
end
while;
end
;
上述各个测试表都写入5000行记录后,再来对比下其表空间文件大小,以及重整表空间后的大小,观察碎片率。详细对比见下:
最后一种分表方式中,5个子表的表空间文件大小总和是 40960 + 40960 + 98304 + 286720 + 40960 = 507904 字节。
可以看到,这种方式的总大小和原始表大小差距最小,其他几种存储方式都比这个来的大。
(责任编辑:IT)
首先,介绍下关于InnoDB引擎存储格式的几个要点:
综上,如果在实际业务中,确实需要在InnoDB表中存储BLOB、TEXT、长VARCHAR列时,有下面几点建议: 下面是测试验证过程,有耐心的同学可以慢慢看:
上述各个测试表都写入5000行记录后,再来对比下其表空间文件大小,以及重整表空间后的大小,观察碎片率。详细对比见下:
最后一种分表方式中,5个子表的表空间文件大小总和是 40960 + 40960 + 98304 + 286720 + 40960 = 507904 字节。 (责任编辑:IT) |