月度归档: 2024 年 3 月

3 篇文章

thumbnail
简单记录一下 MySQL 大数据量大字段去重批量插入问题
在开发 ItemVoid 时遇到了一个技术性问题,关于在大数据量下如何保证插入性能的情况下进行去重的问题。需求分析为:分批大量数据插入,预期为 150~1500 个物品/s,每 5 秒插入一次由于应用侧缓存容量有限,因此数据库需要承担去重的任务,且需要保证去重的性能……