하둡 Cloudera Manager 설치

Cloudera Manager 설치

1. AWS spot instance 생성 - (Red hat Enterprise 7.7)
   • m5a.large (2CPU, RAM 8G, SSD 50G) 4개를 생성한다
   • 기본 설정 : yum install -y wget && yum install -y bind-utils
   • 도메인
     • AWS 의 경우 제공해주는 Private IPv4 address 와 Private IPv4 DNS 를 사용
2. Cloudera Manager 설치 사전 준비
   1. Configure Network Names 
      1. Private IP 와 Private 도메인이 매핑되어 있는 AWS 인스턴스의 경우는 설정이 불필요하다.
   2. Disabling the Firewall
      1. disable : sudo systemctl disable firewalld 
      2. 중지 : sudo systemctl stop firewalld
   3. Setting SELinux mode
      1. /etc/selinux/config
      2. SELINUX=permissive or SELINUX=Disabled 설정
   4. Enable an NTP Service
      1. 설치 : yum install ntp
      2. 구동 : sudo systemctl start ntpd
   5. Install Python 2.7 on Hue Hosts
      1. Hue in CDH 6 requires Python 2.7.5 or lower
      2. 설치 : sudo yum install python275
      3. 버전 체크 : python --version
   6. Install open JDK
      1. yum -y install java-openjdk
   7. root 계정으로 ssh 접속이 가능하도록 설정
      1. https://goddaehee.tistory.com/193
   8. DBMS
      1. MySQL, Oracle, Postgresql 만 지원한다. 미리 설치해도 되고, Cloudera Mananger 에서 자동설치 해주는 Embedded Postgresql 를 사용해도 된다. 여기서는 Cloudera Manager 가 제공해 주는것을 사용한다.
3. Cloudera Mananger 설치
   1. 다운로드
      1. https://www.cloudera.com/downloads/manager/6-3-1.html 에서 다운로드를 한다 (로그인 필요)
      2. 설치
         1. wget https://archive.cloudera.com/cm6/6.3.1/cloudera-manager-installer.bin
         2. chmod u+x cloudera-manager-installer.bin
         3. sudo ./cloudera-manager-installer.bin
      3. 설치 명령후 라이센스 설명을 Next & Yes 로 한후, 약 5분~10분정도 기다리면 설치가 완료된다.
      4. 설치가 완료되면 http://도메인:7180 으로 접속하여 하둡 에코시스템을 설치한다. (admin/admin)
   2. 구동 명령어
      • service cloudera-scm-server-db start
      • service cloudera-scm-server start 
   3. 참고
      1. 설치 로그 확인 : tail -100f /var/log/cloudera-manager-installer/3.install-cloudera-manager-server.log
      2. 설치시 유저권한 필요 :  root 유저로 ssh 접속이 가능하게 설정
4. Cloudera Manager 설치 화면
   1. Cloudera Manager 인스톨러 실행시 ( ./cloudera-manager-installer.bin)
   2. 라이센스 승인 화면
   3. 설치화면
   4. 설치 완료 (Web UI 관련 내용 알림)
   5. 하둡 에코 시스템을 설치하기 위한 Cloudera Manager Web UI Console
      1. http://도메인:7180 (계정 admin / admin)
   6. Cloudera Manager 시작 화면
   7. 라이센스 확인 화면
   8. 설치 종류 선택 (Express 나 Enterprise 체험판을 선택하면 됨)
   9. 클러스터 설치 시작 화면
   10. 클러스터 이름 설정 화면
   11. 클러스터를 설치할 서버 정보 검색 후 설정화면
       1. AWS 에서 제공하는 Private IPv4 DNS를 사용하여 검색한다.
   12. 설치 리포지토리 선택화면
   13. JDK 설치 화면 (미리 openJDK 를 설치했다면, 스킵)
   14. 원격으로 총 4개의 서버에 필요한 프로그램을 설치하기 위한 접근권한 설정
       1. root 계정 + 개인 인증키(AWS의 PEM 키) 를 이용하여 접근
   15. 클러스터 설치 화면 (agents 설치)
   16. 클러스터 설치 화면 (parcels 설치)
   17. 클러스터 체크화면 (Inspect Hosts 의 I understand .... 를 선택)
   18. 설치할 프로그램 선택 화면 (여기서는 Essentials 선택)
   19. 클러스터 역할 할당 지정화면
   20. 데이터베이스 설정화면 (미리 설정해도 되며, Cloudera Manager 에서 제공하는 embedded DB 를 사용해도 됨. 단, 운영환경에서는 따로 설치 권고)
   21. 환경 설정 (디폴트 사용)
   22. 최종 설정 
   23. 클러스터 최종 설치 
   24. Cloudera Manager 메인화면
   25. Cloudera Manager HDFS 화면

 

참고, Red hat Enterprise 7.7 이미지