1. 연결 리스트 Linked Lists 추상적 자료구조 자료구조의 내부 구현은 숨겨두고, data와 연산의 집합만 보여주는 자료구조 data ex) 정수, 문자열, 레코드, … A set of operations 삽입, 삭제, 순회, … 정렬, 탐색, … ...

1. 파이썬 데이터타입과 알고리즘 데이터타입 문자열 (str) : “string” 리스트 (list) : [5, 2, 3,7] 사전 (dict) : {“A” : 45, “B” : 3} 순서쌍 (tuple), 집합 (set), .. 데이터타입이 있음에도 자료구조를 알아야 하는 이유 기본적인 데이터타입으로...

참고자료 https://www.youtube.com/watch?v=Iu9ТС13vPQ&list=PLApuRIvrZKohaBHVXAOhUD-RxDOuQ3z0c&index=8 1. Kubernetes 도커 컨테이너를 위한 오픈소스 오케스트레이션 프레임워크 컨테이너화된 애플리케이션을 자동으로 배포, 스케일링 및 관리해주는 오픈소스...

1. Elastic Search 분산 시스템 기반의 검색 엔진 ex) 실시간 분석 시스템에서 저희가 취급하지 않는 쓰레기 데이터를 사전에 걸러낼 때 ex) 로그 데이터를 수집해서 이슈 대응을 효율적으로 하고 싶을 때 사용자가 원하는 정보를 불러오는 작업을 담당 DB에 쿼리를 보내서 찾는 것보다 훨씬 효율적 분산 시...

1. Homebrew로 하둡 설치 brew install hadoop brew info hadoop # 하둡 설치 위치 ## /opt/homebrew/Cellar/hadoop/3.3.6 ## Required: openjdk@11 HADOOP 환경변수 설정 vi ~/.bash_profile export HADOOP_HOME=/opt/homeb...

[출처: 실무로 배우는 빅데이터 기술, 김강원 저] 1. 빅데이터 실시간 적재 개요 앞장에 이어서 이번에는 스마트카 운전자의 실시간 운행 정보를 분석한 후 적재하는 영역 다룸 실시간 로그 분석에는 작지만 대량으로 발생하는 메시지성 데이터를 실시간으로 분석 처리하며, 해당 결과를 인메모리에 저장해 주변 시스템과 빠르게 공유함 이때...

1. 실시간 적재 환경 구성 1) HBase 설치 CM 홈 - [서비스 추가] - [HBase] 선택 - [계속] HBase의 Master와 RegionServer 설치 위치 지정 Server01, Server02만 있는 상태이므로, 모든 설치 위치를 Server02로 지정 추기로 Thrift Server는 Server01에...

[출처: 실무로 배우는 빅데이터 기술, 김강원 저] 1. 빅데이터 적재 개요 CH03에서 수집한 데이터를 어디에, 어떻게 저장할 것인가 수집한 데이터의 특징에 따라 처리 방식과 적재 위치가 달라질 수 있음 데이터 발생 주기에 따라 일괄 배치성 데이터인지, 실시간 스트림 데이터인지 데이터 형식에 따라 가공 처리나 사전 검...

1. 하둡 설치 이미 CH02에서 CM을 통해 설치 완료 하둡은 수집, 적재, 처리, 분석의 전 영역에 걸쳐 모든 컴포넌트와 연결되어 설치 구성됨 하둡 웹 관리 화면 https://server01.hadoop.com:9870 하둡 웹 관리 화면은 CM 홈에서 [HDFS] 선택 후, 상단의 [NameNode 웹 UI...

[출처: 실무로 배우는 빅데이터 기술, 김강원 저] 1. 플럼 Flume 1) 플럼 빅데이터를 __수집__할 때 다양한 수집 요구사항들을 해결하기 위한 기능으로 구성된 소프트웨어 통신 프로토콜, 메시지 포맷, 발생 주기, 데이터 크기 등 데이터를 수집할 때 고려해야 할 것들을 쉽게 해결할 수 있는 기능과 아키텍처 제공 2) 주요...