配置Service Level Authorization 修改core-site.xml <property> <name>hadoop.security.authorization</name> <value>true</value> </property> hadoop.security.authorization=true则开启ServiceLevel Authorization，若为false则不经过任何验证，所有用户拥有全部权限。(修改此配置需要重启hadoop) 每个可配置多个用户，用户之间用“，”分割；可配置多个用户组，分组之间用“，”分割，用户和分组之间用空格分割，如果只有分组，前面保留一个空格，如： <property> <name&
系统配置 在 /etc/security/limits.conf 这个文件的末尾加入一下内容： * soft nofile 65536 * hard nofile 65536 * soft nproc 131072 * hard nproc 131072 在/etc/security/limits.d/90-nproc.conf 这个文件的末尾加入一下内容： * soft nofile 65536 * hard nofile 65536 * soft nproc 131072 * hard nproc 131072 重启服务器之后生效，用 ulimit -n 或者 ulimit -a 查看设置结果 修改 /etc/selinux/
主节点协调器安装 首先将presto.tar.gz 放在 软件安装目录比如 /web/soft/ 下，然后解压 tar –zxvf presto.tar.gz 解压后将压缩包删除 进入 /web/soft/presto/presto-server-0.232/etc 下 编辑 node.properties： node.environment=production node.id=hadoop1 node.data-dir=/web/soft/presto/data node.id 是每个节点的唯一标识，每个节点id不一样； node.data-dir 是日志配置文件等的目录，需要将 /web/soft替换为你软件的安装目录 进入
介绍 大数据实时计算平台搭建，由hdfs hbase spakr kafka hive等环境组成，由于大数据环境各种坑，特写此文档记录 环境准备 服务器 IP 10.255.50.8 主机名 IPTV-Spark-4 主节点 nn01 IP 10.255.50.17 主机名 IPTV-Spark-5 从节点1 nn02 IP 10.255.50.37 主机名 IPTV-Spark-6 从节点2 软件及相关版本 Jdk 1.8.171 hadoop hadoop-2.6.5 hbase hbase-1.2.5
基础环境 软件版本 软件名称 版本 jdk 1.8.171 hadoop 2.6.5 zookeeper 3.5.4 hbase 1.2.5 kylin 2.6.4 hive 2.1.1 节点准备 IP 主机名 节点 10.196.11.133 node1 all 10.196.11.134 node2 query 10.196.11.135 node3 query