A0-本地集群环境介绍

一、集群基础信息

  1. 集群数量:3台

  2. MyNode01

    • 系统:Centos7.6

    • 内存:8GB

    • 硬盘:1T

  3. MyNode02

    • 系统:Centos7.6

    • 内存:12GB

    • 硬盘:500GB

  4. MyNode03

    • 系统:Centos7.6

    • 内存:12GB

    • 硬盘:500GB

二、软件包版本

  1. 系统

    • CentOS-7-x86_64-DVD-1810.iso
  2. CDH框架版本:5.14.2

  3. Hadoop

    • hadoop-2.6.0-cdh5.14.2.tar.gz

    • jdk-8u141-linux-x64.tar.gz

    • zookeeper-3.4.5-cdh5.14.2.tar.gz

  4. Hive

    • hive-1.1.0-cdh5.14.2.tar.gz

    • mysql-connector-java-5.1.38.jar

  5. Hbase

    • hbase-1.2.0-cdh5.14.2.tar.gz

    • apache-phoenix-4.14.0-cdh5.14.2-bin.tar.gz

  6. Flume

    • flume-ng-1.6.0-cdh5.14.2.tar.gz
  7. Sqoop

    • sqoop-1.4.6-cdh5.14.2.tar.gz

    • java-json.jar

    • mysql-connector-java-5.1.38.jar

  8. Impala

  9. Spark

    • scala-2.11.8.zip

    • spark-2.3.3-bin-hadoop2.7.tgz

  10. Kafka

    • kafka_2.11-1.0.1.tgz

    • kafka-eagle-bin-1.2.3.tar.gz

  11. Flink

    • Flink-1.8.1-src.tgz

三、开发环境

  1. 操作系统:MacOS

  2. 开发工具:IDEA 2019

  3. 辅助工具:FinalShell 3.9

四、集群描述

  • 白熊哥搞了三台二手笔记本,然后将笔记本统一刷成Centos7.6的系统(原因:虚拟机不太好用)。集群总内存32GB,总硬盘容量2T。后期不够用的话,白熊哥再去搞几台~~

  • PS:需要具体刷机步骤的鞋童,可以在留言区留言,人数超过了50人,白熊哥就会写一篇文章详细的介绍刷机过程。(若需要了解详细的集群搭建过程,同样也可以留言~)

  • 白熊哥后面的大数据案例都会基于上面的集群环境进行实操。

© 版权声明
THE END
喜欢就支持一下吧
点赞0 分享