1. Hash 대표 문제 - 완주하지 못한 선수 해시 문제 이름과 그에 따른 횟수를 기록하는 경우 문제 설명 수많은 마라톤 선수들이 마라톤에 참여하였습니다. 단 한 명의 선수를 제외하고는 모든 선수가 마라톤을 완주하였습니다. 마라톤에 참여한 선수들의 이름이 담긴 배열 participant와 완주한 선수들의 이름이 담긴 배열 completion이...

1. Queue 자료를 보관할 수 있는 (선형) 구조 선입선출 구조 (FIFO) 한 쪽 끝에서 밀어 넣는 연산: 인큐(enqueue) 연산 반대 쪽에서 뽑아 꺼내는 연산: 디큐(dequeue) 연산 들어간 순서와 동일한 순서로 데이터가 꺼내짐 2. 큐의 동작 빈 큐 Q =...

1. 연결 리스트 Linked Lists 추상적 자료구조 자료구조의 내부 구현은 숨겨두고, data와 연산의 집합만 보여주는 자료구조 data ex) 정수, 문자열, 레코드, … A set of operations 삽입, 삭제, 순회, … 정렬, 탐색, … ...

1. 파이썬 데이터타입과 알고리즘 데이터타입 문자열 (str) : “string” 리스트 (list) : [5, 2, 3,7] 사전 (dict) : {“A” : 45, “B” : 3} 순서쌍 (tuple), 집합 (set), .. 데이터타입이 있음에도 자료구조를 알아야 하는 이유 기본적인 데이터타입으로...

참고자료 https://www.youtube.com/watch?v=Iu9ТС13vPQ&list=PLApuRIvrZKohaBHVXAOhUD-RxDOuQ3z0c&index=8 1. Kubernetes 도커 컨테이너를 위한 오픈소스 오케스트레이션 프레임워크 컨테이너화된 애플리케이션을 자동으로 배포, 스케일링 및 관리해주는 오픈소스...

1. Elastic Search 분산 시스템 기반의 검색 엔진 ex) 실시간 분석 시스템에서 저희가 취급하지 않는 쓰레기 데이터를 사전에 걸러낼 때 ex) 로그 데이터를 수집해서 이슈 대응을 효율적으로 하고 싶을 때 사용자가 원하는 정보를 불러오는 작업을 담당 DB에 쿼리를 보내서 찾는 것보다 훨씬 효율적 분산 시...

1. Homebrew로 하둡 설치 brew install hadoop brew info hadoop # 하둡 설치 위치 ## /opt/homebrew/Cellar/hadoop/3.3.6 ## Required: openjdk@11 HADOOP 환경변수 설정 vi ~/.bash_profile export HADOOP_HOME=/opt/homeb...

[출처: 실무로 배우는 빅데이터 기술, 김강원 저] 1. 빅데이터 실시간 적재 개요 앞장에 이어서 이번에는 스마트카 운전자의 실시간 운행 정보를 분석한 후 적재하는 영역 다룸 실시간 로그 분석에는 작지만 대량으로 발생하는 메시지성 데이터를 실시간으로 분석 처리하며, 해당 결과를 인메모리에 저장해 주변 시스템과 빠르게 공유함 이때...

1. 실시간 적재 환경 구성 1) HBase 설치 CM 홈 - [서비스 추가] - [HBase] 선택 - [계속] HBase의 Master와 RegionServer 설치 위치 지정 Server01, Server02만 있는 상태이므로, 모든 설치 위치를 Server02로 지정 추기로 Thrift Server는 Server01에...

[출처: 실무로 배우는 빅데이터 기술, 김강원 저] 1. 빅데이터 적재 개요 CH03에서 수집한 데이터를 어디에, 어떻게 저장할 것인가 수집한 데이터의 특징에 따라 처리 방식과 적재 위치가 달라질 수 있음 데이터 발생 주기에 따라 일괄 배치성 데이터인지, 실시간 스트림 데이터인지 데이터 형식에 따라 가공 처리나 사전 검...