1. Homebrew로 하둡 설치 brew install hadoop brew info hadoop # 하둡 설치 위치 ## /opt/homebrew/Cellar/hadoop/3.3.6 ## Required: openjdk@11 HADOOP 환경변수 설정 vi ~/.bash_profile export HADOOP_HOME=/opt/homeb...

[출처: 실무로 배우는 빅데이터 기술, 김강원 저] 1. 빅데이터 실시간 적재 개요 앞장에 이어서 이번에는 스마트카 운전자의 실시간 운행 정보를 분석한 후 적재하는 영역 다룸 실시간 로그 분석에는 작지만 대량으로 발생하는 메시지성 데이터를 실시간으로 분석 처리하며, 해당 결과를 인메모리에 저장해 주변 시스템과 빠르게 공유함 이때...

1. 실시간 적재 환경 구성 1) HBase 설치 CM 홈 - [서비스 추가] - [HBase] 선택 - [계속] HBase의 Master와 RegionServer 설치 위치 지정 Server01, Server02만 있는 상태이므로, 모든 설치 위치를 Server02로 지정 추기로 Thrift Server는 Server01에...

[출처: 실무로 배우는 빅데이터 기술, 김강원 저] 1. 빅데이터 적재 개요 CH03에서 수집한 데이터를 어디에, 어떻게 저장할 것인가 수집한 데이터의 특징에 따라 처리 방식과 적재 위치가 달라질 수 있음 데이터 발생 주기에 따라 일괄 배치성 데이터인지, 실시간 스트림 데이터인지 데이터 형식에 따라 가공 처리나 사전 검...

1. 하둡 설치 이미 CH02에서 CM을 통해 설치 완료 하둡은 수집, 적재, 처리, 분석의 전 영역에 걸쳐 모든 컴포넌트와 연결되어 설치 구성됨 하둡 웹 관리 화면 https://server01.hadoop.com:9870 하둡 웹 관리 화면은 CM 홈에서 [HDFS] 선택 후, 상단의 [NameNode 웹 UI...

[출처: 실무로 배우는 빅데이터 기술, 김강원 저] 1. 플럼 Flume 1) 플럼 빅데이터를 __수집__할 때 다양한 수집 요구사항들을 해결하기 위한 기능으로 구성된 소프트웨어 통신 프로토콜, 메시지 포맷, 발생 주기, 데이터 크기 등 데이터를 수집할 때 고려해야 할 것들을 쉽게 해결할 수 있는 기능과 아키텍처 제공 2) 주요...

0. 이번 장에서 할 것 빅데이터 아키텍처의 첫 번째 레이어인 수집 영역 구축 스마트카 시뮬레이터로 배치 파일(스마트카 상태 정보)과 실시간 로그(스마트카 운행 정보) 생성 이를 플러모가 카프카로 수집 1. Flume 설치 CM 홈에서 [서비스 추가] - [Flume] 선택 서버 호스트 server02.hadoop.com...

[출처: 실무로 배우는 빅데이터 기술, 김강원 저] 1. 요구사항 파악 1) 차량의 다양한 장치로부터 발생하는 로그 파일을 수집해서 기능별 상태를 점검한다. 2) 운전자의 운행 정보가 담긴 로그를 실시간으로 수집해서 주행 패턴을 분석한다. 2. 데이터셋 살펴보기 1) 스마트카 상태 정보 데이터 스마트카의 각종 센서로부터 발생하는 차...

[출처: 실무로 배우는 빅데이터 기술, 김강원 저] 1. 클라우데라 매니저(CM) 설치 CM : 빅데이터 에코시스템을 쉽게 설치하고 관리해주는 빅데이터 시스템 자동화 도구 빅데이터 소프트웨어에 대한 프로비저닝, 매니지먼트, 모니터링 수행 프로비저닝 : 하둡 에코시스템 편리하게 설치, 삭제, 수정 관리 매니지먼...

[출처: 실무로 배우는 빅데이터 기술, 김강원 저] 1. 설치해야 할 응용프로그램 JAVA (Java SE 8u-) 이클립스 Oracle Virtual Box PuTTY (SSH 접속 프로그램) FileZilla (FTP 접속 프로그램) Chrome 2. 리눅스 가상머신 환경 구성 1) CentOS 설치 2) ...