hadoop配置授权用户
配置Service Level Authorization
修改core-site.xml
配置Service Level Authorization
修改core-site.xml
系统配置 在 /etc/security/limits.conf 这个文件的末尾加入一下内容: * soft nofile 65536 * hard nofile 65536 * soft nproc 131072 * hard nproc 131072 在/etc/security/limits.d/90-nproc.conf 这个文件的末尾加入一下内容: * soft nofile 65536 * hard nofile 65536 * soft nproc 131072 * hard nproc 131072 重启服务器之后生效,用 ulimit -n 或者 ulimit -a 查看设置结果 修改 /etc/selinux/
主节点协调器安装 首先将presto.tar.gz 放在 软件安装目录比如 /web/soft/ 下,然后解压 tar –zxvf presto.tar.gz 解压后将压缩包删除 进入 /web/soft/presto/presto-server-0.232/etc 下 编辑 node.properties: node.environment=production node.id=hadoop1 node.data-dir=/web/soft/presto/data node.id 是每个节点的唯一标识,每个节点id不一样; node.data-dir 是日志配置文件等的目录,需要将 /web/soft替换为你软件的安装目录 进入
介绍 大数据实时计算平台搭建,由hdfs hbase spakr kafka hive等环境组成,由于大数据环境各种坑,特写此文档记录 环境准备 服务器 IP 10.255.50.8 主机名 IPTV-Spark-4 主节点 nn01 IP 10.255.50.17 主机名 IPTV-Spark-5 从节点1 nn02 IP 10.255.50.37 主机名 IPTV-Spark-6 从节点2 软件及相关版本 Jdk 1.8.171 hadoop hadoop-2.6.5 hbase hbase-1.2.5
基础环境 软件版本 软件名称 版本 jdk 1.8.171 hadoop 2.6.5 zookeeper 3.5.4 hbase 1.2.5 kylin 2.6.4 hive 2.1.1 节点准备 IP 主机名 节点 10.196.11.133 node1 all 10.196.11.134 node2 query 10.196.11.135 node3 query