[spark] spark 살펴보기
spark 대규모 분산 데이터 처리를 하기 위해 설계된 통합형 엔진 설계 철학 속도 맵리듀스와 달리, 중간 결과를 메모리에 유지하기 때문에 훨씬 더 빠른 속도로 같은 작업 수행 가능 질의 연산을 방향성 비순환 그래프 (DAG)로 구성 1. DAG의 스케줄러와 질의 최적화 모듈 → 효율적인 연산 ...
spark 대규모 분산 데이터 처리를 하기 위해 설계된 통합형 엔진 설계 철학 속도 맵리듀스와 달리, 중간 결과를 메모리에 유지하기 때문에 훨씬 더 빠른 속도로 같은 작업 수행 가능 질의 연산을 방향성 비순환 그래프 (DAG)로 구성 1. DAG의 스케줄러와 질의 최적화 모듈 → 효율적인 연산 ...
문제 https://leetcode.com/problems/investments-in-2016/description/?envType=study-plan-v2&envId=top-sql-50 Table: Insurance +-------------+-------+ | Column Name | Type | +-------------+-----...
문제 https://leetcode.com/problems/find-invalid-ip-addresses/description/ Table: logs +-------------+---------+ | Column Name | Type | +-------------+---------+ | log_id | int | | ip ...
문제 https://leetcode.com/problems/find-users-with-persistent-behavior-patterns/description/ +--------------+---------+ | Column Name | Type | +--------------+---------+ | user_id | int ...
문제 https://leetcode.com/problems/most-common-course-pairs/description/ +-------------------+---------+ | Column Name | Type | +-------------------+---------+ | user_id | int ...
문제 https://leetcode.com/problems/managers-with-at-least-5-direct-reports/description/?envType=study-plan-v2&envId=top-sql-50 +-------------+---------+ | Column Name | Type | +-------------...
문제 https://leetcode.com/problems/find-zombie-sessions/description/ Write a solution to identify zombie sessions, sessions where users appear active but show abnormal behavior patterns. A session ...
CQRS Command and Query Responsibility Segregation 시스템에서 데이터의 상태를 변경하는 작업 (Command)과 데이터를 조회하는 작업 (Query)의 책임을 분리하는 아키텍처 패턴 전통적인 CRUD 모델에서는 하나의 데이터베이스가 읽기와 쓰기를 모두 처리함 → 읽기 요청량과 쓰기 요청량의 불균형, ...
https://leetcode.com/problems/largest-number/description/ 문제 Given a list of non-negative integers nums, arrange them such that they form the largest number and return it. Since the result may b...
데이터 시스템 애플리케이션 기본 요소 데이터베이스 캐시 검색 색인 스트림 처리 일괄 처리 소프트웨어 시스템의 주요 관심사 신뢰성 (Reliability) HW/SW 결함, 휴먼 에러 등에 직면하더라도 시스템은 지속적으로 올바르게 동작해야 함 확장성 (Scalability) ...