cdh

CentOS7 上搭建 CDH（6.3.0）

转自：https://www.cnblogs.com/jhxxb/p/11515734.html 这里以四台节点搭建 IPHostNameOS192.168.8.5h5（主）CentOS 7.5192.168.8.6h6（从）CentOS 7.5192.168.8.7h7（从）CentOS 7.5192.168.8.8h8&…

CentOS7安装部署CDH6.2.1

文章目录 CentOS7安装部署CDH6.2.1一、前言1.简介2.架构3.环境二、环境准备1.部署服务器2.安装包准备3.修改机器名4.关闭防火墙5.关闭 SELinux6.Hosts文件7.limits文件8.设置swap空间9.关闭透明巨页内存10.免密登录三、安装CM管理端1.安装第三方依赖包2.安装Oracle的JDK3.安装…

Hadoop2.6.0-cdh5.4.1源码编译安装

[b][colorgreen][sizelarge]版本使用范围，大致与Apache Hadoop编译步骤一致大同小异，因为CDH的Hadoop的本来就是从社区版迁过来的，所以，这篇文章同样适合所有的以Apache Hadoop为原型的其他商业版本的hadoop编译，例如…

CDH 6.3.2集群安装部署

文章目录CDH 6.3.2集群安装部署一 CDH概要1.1 CDH的背景1.2 CDH介绍二环境准备2.1 安装部署环境2.2 部署规划2.3 服务器主机映射2.4 服务器免登录配置2.5 防火墙关闭2.6 关闭Selinux2.7 设置最大打开文件2.8 关闭最大透明页面压缩2.9 设置Swappiness空间2.10 安装JDK2.11 MySQ…

CDH 6.3.2 升级Hive 2.3.9

升级背景 DolphinScheduler 3.1.1安装好后，其源码中集成的是Hive 2.1.1，版本太低，当在数据中心连接Hive数据源时报错，所以升级CDH自带的Hive为2.3.9版本。一、准备工作 1、下载hive2.3.9并解压下载地址：http://a…

Spark2.1.2编译支持cdh5.10.2

环境配置值操作系统Centos6.5位数64位JDK1.8.0.65Scala2.12.4Hadoop2.6.0-cdh5.10.2Spark2.1.2 第一步：从Spark官网下载Spark源码 wget http://mirrors.hust.edu.cn/apache/spark/spark-2.1.2/spark-2.1.2.tgz第二步：JDK、Scala、Hadoop安装配置好第三…

Linux虚拟机安装sqoop-1.4.5-cdh5.3.6

下载 cdh5.3.6 密码:bqgj 【cdh】链接: https://pan.baidu.com/s/1ASwsAS2eRrV7WpymuQS3-w 密码: bqgj 官方下载地址配置 1.sqoop-env-template.sh 去除template //更新前 #Set path to where bin/hadoop is available #export HADOOP_COMMON_HOME#Set path to where h…

cdh大数据平台中es安装、logstash安装、nginx安装、RTMP和FTP

文章目录 1、平台情况2、Elasticsearch安装 yum2.1、安装2.1.1、下载并安装GPG Key2.1.2、添加yum仓库2.1.3、安装elasticsearch2.2、配置修改配置文件2.2.1 启动并查看2.3、集群配置2.4、es安装head插件2.5、表单记录删除3、安装logstash3.1、安装3.1.1、使用示例3.2、错误问题…

CDH6.3.2 多 Spark 版本共存

一部署Spark客户端 1.1 部署spark3客户端 tar -zxvf spark-3.3.1-bin-3.0.0-cdh6.3.2.tgz -C /opt/cloudera/parcels/CDH/lib cd /opt/cloudera/parcels/CDH/lib mv spark-3.3.1-bin-3.0.0-cdh6.3.2/ spark3将 CDH 集群的 spark-env.sh 复制到 /opt/cloudera/parcels/CDH/li…

离线安装CDH 6.3.2大数据平台(基于CentOS 7.9操作系统)

记录：303 场景：在CentOS 7.9操作系统上，离线安装CM6.3.1和CDH6.3.2大数据平台。主要内容：配置集群基础环境、安装MySQL数据库、配置本地yum源、配置NTP校时、安装CM和CDH基础依赖包、安装CM和CDH。名词： Hadoop&am…

Hadoop发行版 Cloudera CDH 6.3.2及CM 安装包下载（阿里云盘不限速）

CDH（全称Cloudera’s Distribution, including Apache Hadoop）是由Cloudera公司构建的Hadoop稳定发行版，不仅含有 Apache Hadoop，还整合了Hive、Spark等组件。由于CDH已停止维护，且Cloudera不再为CDH提供免费的下载服…

CDH6安装手册

1. CDH服务器操作系统安装 1.1 管理节点分区简单配置管理节点数为1，总共4块盘（每块600G），做raid10，为系统盘；剩余2块硬盘（每块2.4T）整体做RAID1，为数据磁盘图1-1 nam…

公司大数据CDH技术选型升级为EMR集群的技术调研

大数据技术栈现状大数据技术整体设计图当前大数据各组件版本 ZooKeeper 3.4.5 Spark 2.4.0 Hue 4.3.0 Hive 2.1.1 Hbase 2.1.4 Hadoop 3.0.0 Kafka 2.2.1 Phoenix 5.0.0-cdh6.2.0 Dolphinscheduler 3.0.0 Yarn 3.0.0-cdh6.3.2 Logstash 7.7.0 Kibana 7.7.0 Elasticsearch 7…

CDH企业级安装实战

一、系统准备 1、环境介绍 IP操作系统联网10.191.15.15Centos 7.4离网10.191.15.16Centos 7.4离网10.191.15.17Centos 7.4离网10.191.15.18Centos 7.4离网 2、搭建本地Yum源 2.1 配置本地基础Yum源 1、上传镜像到服务器下载的Centos镜像为 CentOS-7-x86_64-Everything-1…

使用Vue+ ECharts进行动态图表展示

文章目录一、Vue项目引入ECharts二、CDH搭建，为动态图提供数据三、Vue+ ECharts常见问题四、热门文章一、Vue项目引入ECharts Vue是一个用于构建用户界面的渐进式JavaScript框架，可以轻松构建单页面应用程序(SPA)。ECharts是一个基于JavaScript的数据可视化库，可以通过简单…

CM6.3.2启用Kerberos(附问题解决)

基础准备支持JCE的jdk重新安装JCE的jdk(已正确配置跳过)删除/usr/java/下面的jdk,然后通过CM->管理->安全->安装Java无限制...重新安装后,配置Java(可选)主机->主机配置->搜java->Java主目录配置路径主机->所有主机->设置->高级:Java配置Kerberos安…

CDH大数据平台搭建(实战)

一、环境信息序号IP地址主机名系统版本CDH版本内存处理器硬盘1192.168.6.104CDH01CentOS Linux release 7.2.15115.10.08G12300G2192.168.6.105CDH02CentOS Linux release 7.2.15115.10.08G12300G3192.168.6.106CDH03CentOS Linux release 7.2.15115.10.08G12300G二、基础环境…

Sqoop fails with “Error parsing arguments for import“

错误场景：通过hue界面，借助sqoop同步数据，在界面中sqoop命令框里填写命令。使用了--query参数出错原因，在命令中，oozie按照空格分割命令，所以你写的sql被分割开了当成了一个个命令，所以sqoop不认识这些参数解决办法，想办法将整个sql语句当成一个对象传给参数。先…

hue实现对hiveserver2 的负载均衡

如果你使用的是CDH集群那就很是方便的在Cloudera Manager中，进入HDFS Service 进入Instances标签页面，点击Add Role Instances按钮，如下图所示点击Continue按钮，如下图所示返回Instances页面，选择HttpFS角色…

记一次Hbase2.1.x历史数据数据迁移方案

查看待迁移的表 list_namespace_tables vaas_dwm2. 制作待迁移表“DWM_TRIP_PART”的快照 snapshot vaas_dwm:DWM_TRIP_PART,dwm_trip_part_snapshot3. 统计待迁移表数据总数 hbase org.apache.hadoop.hbase.mapreduce.RowCounter vaas_dwm:DWM_TRIP_PART

CDH大数据平台集群部署

文章目录 1. 资源准备2. 部署 Mariadb 数据库3. 安装CM服务4. 安装数据节点5. 登录CM系统 1. 资源准备准备好CDH安装包资源，官方网站下载需要账号，如果没有账号可以去网上到处搜搜。主要涉及到的资源有： cloudera-manager-servercloudera-m…