文章目录 * 1 问题 * 2 资料 * 3 造成原因 * 4 解决办法 * 4.1 唯一的字段加在 order by 中 * 4.2 降低数据库版本至5.5 问题 最近在项目中遇到一个特别的问题，使用 order by 排序并进行分页查询的时候,数据会出现重复 # 当xx不存在索引，且有xx相同的行是，可能出现分页数据重复问题 select * from table order by xx limit 0,10 资料 在MySQL 5.6的版本上，优化器在遇到order by limit语句的时候，做了一个优化，即使用了priority queue。使用 priority
文章目录 * 1 前言 * 2 数据库常用命令 * 3 Collection聚集集合 * 4 用户相关 * 5 查询条件 * 6 聚集集合查询 * 7 索引 * 8 修改、添加、删除集合数据 前言 以下为网上收集整理的mongo常用操作 数据库常用命令 1、Help查看命令提示 help db.help(); db.yourColl.help(); db.youColl.find().help(); rs.help(); 2、切换/创建数据库 use yourDB; 当创建一个集合(table)的时候会自动创建当前数据库 3、查询所有数据库 show dbs; 4、删除当前使用数据库
安装hadoop启动之后总有警告：Unable to load native-hadoop library for your platform… using builtin-java classes where applicable 原因： Apache提供的hadoop本地库是32位的，而在64位的服务器上就会有问题，因此需要自己编译64位的版本。 1、首先找到对应自己hadoop版本的64位的lib包，可以自己手动去编译，但比较麻烦，也可以去网上找，好多都有已经编译好了的。 2、可以去网站：http://dl.bintray.com/sequenceiq/sequenceiq-bin/ 下载对应的编译版本 3、将准备好的64位的lib包解压到已经安装好的hadoop安装目录的lib/native 和 lib目录下： tar xf hadoop-native-64-2.6.0.tar -C /web/soft/hadoop-2.6.5/
基础环境 软件版本 软件名称 版本 jdk 1.8.171 hadoop 2.6.5 zookeeper 3.5.4 hbase 1.2.5 kylin 2.6.4 hive 2.1.1 节点准备 IP 主机名 节点 10.196.11.133 node1 all 10.196.11.134 node2 query 10.196.11.135 node3 query
Redis 集群简介 Redis Cluster 是 Redis 的分布式解决方案，在 3.0 版本正式推出，有效地解决了 Redis 分布式方面的需求。 Redis Cluster 一般由多个节点组成，节点数量至少为 6 个才能保证组成完整高可用的集群，其中三个为主节点，三个为从节点。三个主节点会分配槽，处理客户端的命令请求，而从节点可用在主节点故障后，顶替主节点。 如上图所示，该集群中包含 6 个 Redis 节点，3主3从，分别为M1，M2，M3，S1，S2，S3。除了主从 Redis 节点之间进行数据复制外，所有 Redis 节点之间采用 Gossip 协议进行通信，交换维护节点元数据信息。 一般来说，主
1 在开机启动的时候快速按键盘上的“E”键 或者“ESC”键（如果做不到精准快速可以在启动前一直按着或者不停的按），会进入如下界面。如果你的有多个操作系统就会出现多个内核，就会出现多个选项 2 选择你忘记密码的内核，再次按“E”，出现下图，选择第二项，再次按“E”键，第二项的名称会根据个人的设置有些小差异，但是以kernel开头，一般选择第二项就是了 3 经过第二步，这个画面可以编辑，在信息的最后加“空格”，直接输入数字的1或者 single也行，回车确定进入下一步。 4 操作完第三步，会出现下图，是不是感觉又回到第二步了呢？并不是，这里按键盘的”B”键，进入引导系统 5 系统启动后就会进入单用户模式 然后输入passwd root，重新设置root的密码 centos7 会有些区别 第三步时 找到以“Linux16”
报错： echo 0 > /proc/sys/kernel/hung_task_timeout_secs disables this message 原因 默认情况下， Linux会最多使用40%的可用内存作为文件系统缓存。当超过这个阈值后，文件系统会把将缓存中的内存全部写入磁盘， 导致后续的IO请求都是同步的。 将缓存写入磁盘时，有一个默认120秒的超时时间。 出现上面的问题的原因是IO子系统的处理速度不够快，不能在120秒将缓存中的数据全部写入磁盘。 IO系统响应缓慢，导致越来越多的请求堆积，最终系统内存全部被占用，导致系统失去响应。 解决方法： 根据应用程序情况，对vm.dirty_ratio，vm.dirty_background_ratio两个参数进行调优设置。 修改/etc/sysctl.conf文件，推荐如下设置： vm.dirty_background_ratio = 5 vm.dirty_ratio
介绍 最近需要对服务器上ftp文件进行压缩，文件数量有几十万体积也有几十T，使用xz进行压缩时发现耗时太长，CPU只能跑到100%，于是想到使用多线程压缩，在网上搜索找到一个压缩神器pigz Pigz默认用当前逻辑cpu个数来并发压缩，无法检测个数的话，则默认并发8个线程，也可以使用-p指定线程数。需要注意的是其CPU使用比较高。 用法 压缩 # -9是压缩比率 -p是指定cpu的核数 tar cvf - dir | pigz -9 -p 24 > file.tgz 解压: # 这时候是tar包，那么再用 tar -xvf file.tar pigz -d file.tgz # 或者 pigz -dc file.tgz | tar -xvf - 更具体的pigz的用法请参考pigz –help
文章目录 * 1 ftp connect: No route to host * 2 ftp登录shell为nologin无法登录 * 3 Vsftpd本地nologin用户不能登录FTP解决办法 * 4 mget 命令免去手工敲Y确认 ftp connect: No route to host 问题 能连接上ftp，ls 和 dir 显示目录的时候，提示 ” ftp: connect: No route to host ”,服务器上ftpsever使用的是vsftp，主被动模式都开了 据说是因为iptable没有预设NAT处理的部分 解决办法 在/etc/sysconfig/iptables-config 文件中更改 IPTABLES_MODULES为 IPTABLES_MODULES=”ip_nat_ftp
介绍 stat命令主要用于显示文件或文件系统的详细信息 用法 选项 -f 不显示文件本身的信息，显示文件所在文件系统的信息 -t 简洁模式，只显示摘要信息 stat输出 [root@VM_7_191_centos logs]# stat error.log 文件："error.log" 大小：566838 块：1120 IO 块：4096 普通文件 设备：fd01h/64769d Inode：853972 硬链接：1 权限：(0644/-rw-r--r--) Uid：( 1000/ www) Gid：( 1000/ www) 最近访问：2018-07-21 13: