bigdata

hadoop配置授权用户

配置Service Level Authorization 修改core-site.xml hadoop.security.authorization true hadoop.security.authorization=true则开启ServiceLevel Authorization，若为false则不经过任何验证，所有用户拥有全部权限。(修改此配置需要重启hadoop) 每个可配置多个用户，用户之间用“，”分割；可配置多个用户组，分组之间用“，”分割，用户和分组之间用空格分割，如果只有分组，前面保留一个空格，如： security.job.submission.protocol.acl alice,bobgroup1,group2 默认情况下，属性不对任何用户和分组开放。 该配置文件可使用以下命令动态

young
1分钟阅读
bigdata

clickhouse安装教程

系统配置 在 /etc/security/limits.conf 这个文件的末尾加入一下内容： * soft nofile 65536 * hard nofile 65536 * soft nproc 131072 * hard nproc 131072 在/etc/security/limits.d/90-nproc.conf 这个文件的末尾加入一下内容： * soft nofile 65536 * hard nofile 65536 * soft nproc 131072 * hard nproc 131072 重启服务器之后生效，用 ulimit -n 或者 ulimit -a 查看设置结果 修改 /etc/selinux/

young
3分钟阅读
bigdata

Presto安装部署文档

主节点协调器安装 首先将presto.tar.gz 放在 软件安装目录比如 /web/soft/ 下，然后解压 tar –zxvf presto.tar.gz 解压后将压缩包删除 进入 /web/soft/presto/presto-server-0.232/etc 下 编辑 node.properties： node.environment=production node.id=hadoop1 node.data-dir=/web/soft/presto/data node.id 是每个节点的唯一标识，每个节点id不一样； node.data-dir 是日志配置文件等的目录，需要将 /web/soft替换为你软件的安装目录 进入

young
3分钟阅读
bigdata

hadoop集群（实时计算平台）

介绍 大数据实时计算平台搭建，由hdfs hbase spakr kafka hive等环境组成，由于大数据环境各种坑，特写此文档记录 环境准备 服务器 IP 10.255.50.8 主机名 IPTV-Spark-4 主节点 nn01 IP 10.255.50.17 主机名 IPTV-Spark-5 从节点1 nn02 IP 10.255.50.37 主机名 IPTV-Spark-6 从节点2 软件及相关版本 Jdk 1.8.171 hadoop hadoop-2.6.5 hbase hbase-1.2.5

young
21分钟阅读
bigdata

Kylin集群部署

基础环境 软件版本 软件名称 版本 jdk 1.8.171 hadoop 2.6.5 zookeeper 3.5.4 hbase 1.2.5 kylin 2.6.4 hive 2.1.1 节点准备 IP 主机名 节点 10.196.11.133 node1 all 10.196.11.134 node2 query 10.196.11.135 node3 query

young
4分钟阅读