mysql提高insert into 插入速度的3种方法

mysql提高insert into 插入速度的3种方法
当mysql大批量插入数据的时候就会变的非常慢, mysql提高insert into 插入速度的方法有三种: 第一种插入提速方法: 如果数据库中的数据已经很多(几百万条), 那么可以 加大mysql配置中的 bulk_insert_buffer_size,这个参数默认为8M bulk_insert_buffer_size=100M 第二种mysql插入提速方法: 改写所有 insert into 语句为 insert delayed into 这个insert delayed不同之处在于:立即返回结果,后台进行处理插入...

深入理解Redis内存模型-让你更快的理解redis

深入理解Redis内存模型-让你更快的理解redis
前言 Redis是目前最火爆的内存数据库之一,通过在内存中读写数据,大大提高了读写速度,可以说Redis是实现网站高并发不可或缺的一部分。 我们使用Redis时,会接触Redis的5种对象类型(字符串、哈希、列表、集合、有序集合),丰富的类型是Redis相对于Memcached等的一大优势。在了解Redis的5种对象类型的用法和特点的基础上,进一步了解Redis的内存模型,对Redis的使用有很大帮助,例如: 1、估算Redis内存...

RocketMQ原理讲解,轻松搞定RocketMQ入门

RocketMQ原理讲解,轻松搞定RocketMQ入门
RocketMQ是一款分布式、队列模型的消息中间件,具有以下特点: 能够保证严格的消息顺序 提供丰富的消息拉取模式 高效的订阅者水平扩展能力 实时的消息订阅机制 亿级消息堆积能力 RocketMQ网络部署特 (1)NameServer是一个几乎无状态的节点,可集群部署,节点之间无任何信息同步 (2)Broker部署相对复杂,Broker氛围Master与Slave,一个Master可以对应多个Slaver,但是一个Slaver只能对应一个Master,...

Redis的两种持久化方式-快照持久化(RDB)和AOF持久化

Redis的两种持久化方式-快照持久化(RDB)和AOF持久化
Redis为了内部数据的安全考虑,会把本身的数据以文件形式保存到硬盘中一份,在服务器重启之后会自动把硬盘的数据恢复到内存(redis)的里边,数据保存到硬盘的过程就称为“持久化”效果。 redis有两种持久化功能,一种是“快照持久化(RDB)”,一种是“AOF持久化”。 RDB的缺点:耗时、耗性能、耗内存。不可控,容易丢失数据 1.snap shotting快照持久化 该持久化默认开启,一次性把redis中全部的数据保存一份存储在...

了不起的90后!大数据解析90后的人生观

了不起的90后!大数据解析90后的人生观
2017年,一份名为《90后消费趋势数据分析》的报告出炉,从渠道的角度分析,发现90后最喜欢“送服务到眼前”的消费方式,最典型的例子就是“美团”、“饿了么”这类外卖软件的兴起。 那么,每次都宁愿多付些钱来图便利,一个月累积起来就是不小钱了,哪里存得住钱? 因此我们的上一辈后就说了:现在的年轻人不懂勤俭的美德,都不会持家过日子了。 可是仔细想想,现代支付方式的改革进步为了什么? 是为了方便。滴...

MMM高可用MySQL服务集群解决方案

MMM高可用MySQL服务集群解决方案
MMM高可用方案简介 MMM(Master- Master Replication Manager for MySQL)主主复制管理器,是一套提供了MySQL主主复制配置的监控、故障迁移和管理的可伸缩的脚本程序。在MMM高可用解决方案中,可以配置双主多 从架构,通过MySQL Replication技术可以实现两台MySQL服务器互为主从,并且在任何时候只有一个节点可以写入,避免多节点写入的数据冲突,同时,当可写节点故 障时,MMM套件可以立即监控到,...

redis 数据迁移笔记

redis 数据迁移笔记
老服务器上内存一直报警,所以要把一部分redis数据迁移到新服务器上去。 迁移的方式有两种,一种是停服务器,搬迁数据;另一种通过主从同步转移。 停服务器,搬迁数据 首先在原服务器上执行redis-cli shutdown命令,该命令会触发保证写RDB文件以及将AOF文件写入磁盘,不会丢失数据。 如果是kill -9 pid就会丢失数据。 然后将RDB文件和AOF文件都拷贝到新服务器上,注意需要与redis.conf文件中指定RDB文件名...

聚簇索引的优缺点

聚簇索引的优缺点
聚簇索引并不是一种单独的索引类型,而是一种数据存储方式.比较常用的就是 InnoDB 中的聚簇索引,它实际上是在同一结构中保存了 B-tree 索引和数据行.也就是说一个表的数据实际存放在索引的叶子页中. Mysql(InnoDB)中的聚簇索引不能指定,只能 MySQL 自动生成.InnoDB 中一般是通过主键聚集数据.(而在 Oracle 中则是需要手动创建) 在 InnoDB 中如果没有定义主键,会选择一个唯一的非空索引来代替,如果没有这样的...

Redis 各种数据类型的使用场景举例分析

Redis 各种数据类型的使用场景举例分析
Redis官方的介绍:Redis 是完全开源免费的,遵守BSD协议,先进的key - value持久化产品。它通常被称为数据结构服务器,因为值(value)可以是字符串(String), 哈希(Map), 列表(list), 集合(sets) 和有序集合(sorted sets)等类型。 通过最近一直看公司的代码慢慢了解实际的运用和使用,记录下各种数据类型在我们项目中的运用,结合php的数组和mysql数据一起对比记录。 整个项目的背景介绍,类似与豆瓣的社区...

oss 数据迁移工具的使用

oss 数据迁移工具的使用
原文 工具下载:https://help.aliyun.com/document_detail/57053.html 文档说明:https://help.aliyun.com/document_detail/56990.html 下面的笔记写的比较简单,自己备份。 需求 迁移 账号 bucket 目录 原始 A zhoumengkang www 目的地 B mengkang www 配置 $ cat /Users/zhoumengkang/Downloads/ossimport-2.2.2/conf/local_job.cfg |grep -v "^#"|awk '{if (length($0) > 0){print $0}}...