BoKyung Archives

배경 12개 섹션에 대한 크롤링 + api 수집 작업을 마케터 분이 필요할 때 실행할 수 있도록 자동화 필요 12개의 작업은 모두 한 번에 실행되어야 함 (동시성이 중요) - 검색 결과 순위 등을 크롤링하기 때문 구글 스프레드 시트에서 키워드 목록을... Read More

오류 INFO: Not scanning for jupyter notebooks. <unknown>:165: SyntaxWarning: invalid escape sequence '\S' <unknown>:166: SyntaxWarning: ... Read More

문제 크롤링 스크립트를 비개발자가 언제든 실행할 수 있도록 자동화를 해야함 AWS ECR - Batch - Lambda 를 이용해서 docker 이미지로 크롤링 스크립트를 올리고, lambda로 batch job을 실행하고자 함 크롤... Read More

1. IAM 사용자 사용자 생성 및 그룹 배치 -> 글로벌 서비스 루트 계정은 계정을 만들 때에만 사용되어야 함 그 후에는 루트 계정을 더 이상 사용하거나 공유하지 않아야 함 사용자를 만들기! 그룹... Read More

1. Spark Streaming 실시간 데이터 스트림 처리를 위한 Spark API Kafka, Kinesis, Flume, TCP 소켓 등의 다양한 소스에서 발생하는 데이터 처리 가능 Join, Map, Reduce, Window와 같은 고급 함... Read More

1. Kafka CLI Tools 접근 방법 docker ps를 통해 Broker의 Container ID 혹은 Container 이름 파악 (confluentinc/cp-kafka:7.3.2) 해당 컨테이너로 로그인 docker ... Read More

1. Kafka 소개 Kafka 실시간 데이터를 처리하기 위해 설계된 오픈소스 분산 스트리밍 플랫폼 데이터 재생이 가능한 분산 커밋 로그 (Distributed Commit Log) Scalability와 Fault ... Read More

1. 구글이 데이터 분야에 끼친 영향 구글의 탄생 1) 구글 검색 엔진의 등장 그 전까지의 검색 엔진은 기본적으로 웹 페이지 상의 텍스트를 보고 랭킹을 결정 알타비스타, 야후, .. 검색 결과 페이지에 온갖 종류의 스팸 웹... Read More

1. Spark 파일 포맷 데이터는 디스크에 파일로 저장됨 일에 맞게 최적화 필요! Unstructured Semi-structured Structured ... Read More

1. Spark SQL 구조화된 데이터 처리를 위한 Spark 모듈 데이터프레임 작업을 SQL로 처리 가능 데이터프레임에 테이블 이름 지정 후 sql 함수 사용 가능 Pandas에도 pandasql ... Read More

1. Spark 데이터 처리 Spark 데이터 시스템 아키텍처 자체 파일 시스템을 갖고 있지 않음 기존의 분산 파일 시스템 사용 HDFS, AWS S3, Azure Blob, CGP Cloud Storage … : 내부 데이... Read More

1. 빅데이터의 정의와 예 빅데이터 서버 한 대로 처리할 수 없는 규모의 데이터 Amazon의 data scientist 존 라우저가 내린 정의 분산 환경이 필요하느냐에 초점 ex) pandas로 처리해야 ... Read More

1. A/B Test Split Test / Bucket Test 라고도 부름 Randomized Controlled Trial의 온라인 버전 다수의 Variant로 구성됨 하나의 컨트롤 (기존 ... Read More

1. Dag Dependencies DAG를 실행하는 방법 주기적 실행: schedule로 지정 crontab 형태로 지정 다른 DAG에 의해 트리거 (의존관계가 있는 경우) Explicit Tri... Read More

1. 구글 시트 -> Redshift 구현 절차 시트 API 활성화, 구글 서비스 어카운트 생성 -> 그 내용을 JSON 파일로 다운로드 어카운트에서 생성해준 이메일을 조작하고 싶은 시트에 공유 Airflow DAG 쪽에서 해당 JSON... Read More

1. Airflow 환경 설정 docker-compose.yaml 수정 airflow-common 의 environment AIRFLOW_VAR_DATA_DIR: /opt/airflow/data 임시 ... Read More

1. Docker 정리 Docker를 실제 production 환경에서 사용할 때 유념할 점 Docker Volumes Host volume은 보통 개발 시 소스코드를 바로 container 안으로 마운트하기 위해 사용 Pr... Read More

1. Docker-compose 다수의 Container로 소프트웨어가 구성되는 경우 사용할 수 있는 툴 + 환경 설정 파일 여기서 다양한 테스트 등도 수행 가능 다양한 버전을 만드는 것도 일반적 (dev, test, prod... Read More

1. 하는 업무 Ad-hoc Data 추출 반복되는 추출 요청들도 많이 있음 주요 지표들은 미리 적재해두면 추출 건을 70% 정도 줄일 수 있을 것으로 예상 주요 지표들이 미리 적재되어 있는 데이터 웨어하우스를 만들자 데이터 거버... Read More

1. Docker Volume 필요성 Docker Container가 실행되었다면 중단되면 데이터들은 어떻게 될까? 특정 소프트웨어가 컨테이너를 통해 일회성으로 동작하는 것이 아니라 계속해서 동작해야 한다면 데이터가 영구적으로 보관되어야 함 ... Read More

1. 웹서비스를 도커로 구동 hangman_web이라는 repo의 main에 코드가 머지될 때마다 다음을 수행 테스트 수행 Docker Image 빌드 Docekr Image를 Docker Hub로 푸시 ... Read More

1. Airflow 운영 상의 어려움 관리해야 하는 DAG의 수가 100개를 넘어간다면 데이터 품질이나 데이터 리니지 이슈 외에도 다양한 이슈들이 발생 라이브러리 충돌 Worker의 부족 Worker 서버... Read More

1. 사용자 행동 분석 = 제품 분석 = 디지털 분석 이를 가능하게 해주는 툴을 제품 분석 플랫포밍라고 부름 제품/서비스에 대한 사용자 행동을 분석하고 이해하는 데 도움이 되는 툴 데이터 기반의 의사 결정을 내리고 제품 성능을 개... Read More

1. MySQL -> Redshift AWS 관련 권한 설정 Airflow DAG에서 S3 접근 (쓰기 권한) IAM User를 만들고 S3 버킷에 대한 읽기/쓰기 권한 설정하고 access key와 secret key 사... Read More

1. dags 폴더에서 코드 작성시 주의할 점 Airflow는 dags 폴더를 주기적으로 스캔함 dags_folder 키가 가리키는 위치 dag_dir_list_interval 주기 만큼 이 때 DAG 모듈이... Read More

1. PythonOperator from airflow.operators.python import PythonOperator 실행해야 하는 파이썬 함수 : python_callable=func 함수의 인자: params = {... Read More

1. Airflow - Docker 사용 airflow-sertup Github repo 클론 git clone https://github.com/keeyong/airflow-setup.git airflow-setup ... Read More

1. 데이터 파이프라인 데이터 흐름 서비스나 써드파티를 통해 생기는 데이터 데이터 인프라 데이터 분석 (지표 정의, 시각화) 데이터 과학 적용 (사용자 경험 개선) 더 데이터 웨어하우스... Read More

기술을 왜 써야하는지 논리를 갖고 사용해야 함! 1. Container container code dependencies runtime 그냥 EC2에 올려서 써도 되는데, 왜 컨테이너를 ... Read More

1. 시각화 툴 대시보드 혹은 BI (Business Intelligence) 툴이라고 부르기도 함 KPI (Key Performance Indicator), 지표, 중요한 데이터 포인트들을 데이터 기반으로 계산/분석/표시해주는 툴 ... Read More

1. Snowflake 2014년 클라우드 기반 데이터 웨어하우스로 시작됨 지금은 데이터 클라우드라고 부를 수 있을 정도로 발전 글로벌 클라우드 위에서 모두 동작 (AWS, GCP, Azure) - 멀티클라우드 데이터 판매를 통한 매출을 가능하게... Read More

1. Redshift 권한과 보안 사용자별 테이블 권한 설정 일반적으로 사용자별 테이블별 권한 설정은 하지 않음: 너무 복잡! 역할 혹은 그룹별로 스키마별 접근 권한을 주는 것이 일반적 RBAC (Role Based Access C... Read More

1. Redshift 특징 AWS에서 지원하는 데이터 웨어하우스 서비스 최소 160GB ~ 2PB 데이터까지 처리 가능 고정 비용으로 사용할 때! SSD 옵션 -> 상대적으로 처리속도가 빠름 Stil... Read More

1.2013-2018 유데미 특징 모든 직원들이 데이터 문해력 교육 (SQL) 데이터 웨어하우스 (RedShift) 도입 BI 툴 도입 (ChartIO & Tableau) ML 프로덕션 도입 (A/B 프로세스 & MLOps) 데... Read More

1. 데이터 웨어하우스 기본적으로 클라우드가 대세 데이터가 커져도 문제없는 확장가능성(scalable)과 적절한 비용이 중요 포인트 크게 고정비용 옵션과 가변비용 옵션이 존재하며, 후자가 조금 더 확장 가능한 옵션 AWS Redshift, 구글 ... Read More

Docker - Microsoft 실습 https://learn.microsoft.com/ko-kr/visualstudio/docker/tutorials/docker-tutorial 실습입니다. 이미지 pull & 컨테이너 실행 docker run ... Read More

1. Docker 애플리케이션을 신속하게 구축, 테스트 및 배포할 수 있는 소프트웨어 플랫폼 환경에 구애받지 않고 애플리케이션을 신속하게 배포 및 확장할 수 있음 같은 코드여도 환경에 매우 의존적 -> 여러 os에 배포할 때 정상적으로 작동하지... Read More

종합실습 구성도 1. 백엔드 모듈 구성 (SpringBoot) build.gradle.kts dependencies { implementation("org.springframework.boot:spring-boot-starter-we... Read More

1. IAM AWS 리소스에 대한 액세스를 안전하게 제어할 수 있는 웹서비스 역할(인증, 로그인)과 권한 관리! AWS 계정을 생성할 때는 해당 계정의 모든 AWS 서비스 및 리소스에 대한 완전한 액세스 권한이 있는 단일 로그인 ID로 시작 이 ... Read More

1. Route53 도메인 관리 서비스 (DNS 웹 서비스) 가용성과 확장성 뛰어남 도메인 등록, DNS 라우팅, 상태 확인 public / private host zone 존재 Route53 = DNS(네임서버) + 모니터링 ... Read More

1. 클라우드 컴퓨팅 IT 리소스를 인터넷을 통해 온디맨드로 제공하고 사용한 만큼만 비용을 지불하는 방식 물리적 데이터 센터와 서버를 구입하여 유지 관리하는 대신, AWS와 같은 클라우드 공급자로부터 필요에 따라 컴퓨팅 파워, 스토리지, 데이터... Read More

1. 사용자별로 처음 채널과 마지막 채널 알아내기 ROW_NUMBER 이용 CTE를 빌딩블록으로 WITH first AS ( SELECT userid, ts, channel, ROW_NUMBER() OVER(PARTITION BY userid ... Read More

1. JOIN 2개 이상의 테이블들을 공통 필드를 가지고 머지하는 데 사용됨 star schema로 구성된 테이블들로 분산되어 있던 정보를 통합 JOIN 방식에 따라 어떤 레코드들이 선택되는지, 어떤 필드들이 채워지는지가 달라짐 고... Read More

1. GROUP BY & Aggregate 함수 테이블의 레코드들을 그룹핑하여 그룹별로 다양한 정보 계산 단계 먼저 그룹핑을 할 필드 결정 (하나 이상의 필드가 될 수 있음) 다음 그룹별로 계산할 내용 결정 ... Read More

1. Redshift 론치 데모 aws에서 AWS Redshift 클러스터 생성 실습용이기 때문에 가장 저렴한 dc2.large 선택 노드는 1개 샘플 데이터 X 추가 구성 기본값 사용 해제 네트워크 및 보안에서 퍼블릭 액... Read More

1. 데이터 분야에서 SQL 큰 데이터를 processing하여 작은 데이터로 변환 주어진 문제를 답하기 위해서 데이터 분석을 하기 위한 관점에서 사용 서버에서의 DB와는 목적이 조금 다름 사용자들에 대한 정보, 상품에 대한 정보,... Read More

크롤링 가능 여부 확인 [사이트의 root url]/robots.txt 에서 확인! 카카오의 경우 User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php Sitemap: https://... Read More

QuerySet DB에서 전달받은 객체들의 모음 (list) Python으로 작성한 코드가 SQL로 mapping되어 QuerySet 자료형으로 넘어옴 Django에서는 속성이 column, 속성에 부여된 값이 row 임 -> dictionar... Read More

1. 배경 18개의 기업 별 테그 블로그를 크롤링해서 태그 별 빈도수 시각화 & 글 모아 보여주기 ERD 2. 전체 태그 빈도수 시각화 views.py from .models import * from django.http import ... Read More

1. 효과적인 학습 방법 긍정적인 감정 이입하기 잘 모르는 용어나 개념도 반복해서 듣고 사용하다 보면 익숙해짐 계속해서 새로운 개념들이 나오는 분야이기 때문에 모르는 용어, 주제도 긍정적으로 바라보는 자세를 가져야 함! ... Read More

1. 배경 Django 프로젝트에서 팀원이 이미 개발하고 있던 웹 프로젝트를 받아서 협업해야 하는 상황 가상환경 위에서 개발 중이어서 그 가상환경을 그대로 이용하면 되겠다고 생각했는데, vscode에서 파이썬 인터프리터를 인식하지 못함 검색해보니 내... Read More

1. RelatedField polls_api/serializers.py UserSerializer 수정 1) StringRelatedField model의 str 값으로 표현 class UserSeriali... Read More

1. 소프트웨어 개발 Plan 요구조건은 계속해서 변화함 디자인 시 모든 문제를 미리 알 수 없음 water-fall 모델은 소프트웨어 개발에 부적합 속도에 더 치중하는 것이 일반적 애자일 개발 방법론 (Agil... Read More

1. User 추가 및 관리 polls/models.py owner = models.ForeignKey('auth.User', related_name='questions', on_delete=models.CASCADE, null=True... Read More

1. Serializers Serialize 모델 인스턴스나 QuerySet과 같은 데이터를 JSON 형식의 파일로 변환하는 작업 Deserialize JSON 형식의 데이터를 정의된 포맷에 맞추어 ... Read More

1. Views models : DB에 정보를 저장하고 읽어옴 view : 읽어온 모델의 정보들 활용 polls/view.py from django.http import HttpResponse from .models import * def ind... Read More

1. 가상환경 생성 및 접속 python -m venv django-venv source django-venv/bin/activate # 비활성화 deactivate 2. Django 설치 pip install django ## 버전 확인 python ... Read More

1. 기상청 날씨 스크래핑 https://www.weather.go.kr/w/weather/forecast/short-term.do 기온 정보 스크래핑 from selenium import webdriver from selenium.webdriver impo... Read More

1. 정적 vs. 동적 웹사이트 어떻게 생성되냐에 따라 구분 정적(static) 웹사이트 HTML 내용이 고정됨 같은 주소로 요청을 보내면 항상 같은 응답을 받을 수 있음 웹 스크래퍼 적용이 쉬움 ... Read More

1. DOM (Document Object Model) 브라우저의 렌더링 엔진은 웹 문서를 로드한 후, 파싱을 진행 파싱 파싱으로 만들어진 모델을 DOM이라고 함! 브라우저가 HTML을 DOM으로 바꾸어 사용하는 이유 ... Read More

1. 인터넷 WWW : 인터넷에서 정보를 교환할 수 있는 환경 (World Wide Web) 여러 컴퓨터끼리 네트워크를 연결한 것 Web은 인터넷 상에서 정보를 교환하기 위한 시스템 2. Web에서 정보 주고받기 클라이언트 : 정보 요청 ... Read More

1. HTML Hypertext Markup Language 웹 브라우저가 이해할 수 있는 언어 2. HTML 기본 문법 태그 컨텐츠를 가지는 태그 <div> 컨텐츠 </div> 컨텐츠... Read More

1. Language Model 문장의 일부를 보고 비어있는 단어를 확률적으로 맞추는 모델 LLM Large Language Model GPT에서 Temperature의 개념 0과 100 사이의 값 100에 가까... Read More

1. Heap 대표 문제 - 더 맵게 Heaps 최대/최소 원소를 상수 시간으로 빠르게 찾을 수 있음 연산 힙 구성 (heapify) $O(nlogn)$ 삽... Read More

1. Hash 대표 문제 - 완주하지 못한 선수 해시 문제 이름과 그에 따른 횟수를 기록하는 경우 문제 설명 수많은 마라톤 선수들이 마라톤에 참여하였습니다. 단 한 명의 선수를 제외하고는 모든 선수가 마라톤을 완주하였습니다. 마라톤에 참여한 선수들의 이름이... Read More

1. Queue 자료를 보관할 수 있는 (선형) 구조 선입선출 구조 (FIFO) 한 쪽 끝에서 밀어 넣는 연산: 인큐(enqueue) 연산 반대 쪽에서 뽑아 꺼내는 연산: 디큐(dequeue) 연산 들어간 순서와... Read More

1. 연결 리스트 Linked Lists 추상적 자료구조 자료구조의 내부 구현은 숨겨두고, data와 연산의 집합만 보여주는 자료구조 data ex) 정수, 문자열, 레코드, … A set of op... Read More

1. 파이썬 데이터타입과 알고리즘 데이터타입 문자열 (str) : “string” 리스트 (list) : [5, 2, 3,7] 사전 (dict) : {“A” : 45, “B” : 3} 순서쌍 (tuple), 집합 (set), .. 데... Read More

참고자료 https://www.youtube.com/watch?v=Iu9ТС13vPQ&list=PLApuRIvrZKohaBHVXAOhUD-RxDOuQ3z0c&index=8 1. Kubernetes 도커 컨테이너를 위한 오픈소스 오케스트레이션... Read More

1. Elastic Search 분산 시스템 기반의 검색 엔진 ex) 실시간 분석 시스템에서 저희가 취급하지 않는 쓰레기 데이터를 사전에 걸러낼 때 ex) 로그 데이터를 수집해서 이슈 대응을 효율적으로 하고 싶을 때 사용자가 원하는 정보... Read More

1. Homebrew로 하둡 설치 brew install hadoop brew info hadoop # 하둡 설치 위치 ## /opt/homebrew/Cellar/hadoop/3.3.6 ## Required: openjdk@11 HADOOP 환경변수 설정 ... Read More

[출처: 실무로 배우는 빅데이터 기술, 김강원 저] 1. 빅데이터 실시간 적재 개요 앞장에 이어서 이번에는 스마트카 운전자의 실시간 운행 정보를 분석한 후 적재하는 영역 다룸 실시간 로그 분석에는 작지만 대량으로 발생하는 메시지성 데이터를 실시... Read More

1. 실시간 적재 환경 구성 1) HBase 설치 CM 홈 - [서비스 추가] - [HBase] 선택 - [계속] HBase의 Master와 RegionServer 설치 위치 지정 Server01, Server02만 있는 상태이므로, 모든 ... Read More

[출처: 실무로 배우는 빅데이터 기술, 김강원 저] 1. 빅데이터 적재 개요 CH03에서 수집한 데이터를 어디에, 어떻게 저장할 것인가 수집한 데이터의 특징에 따라 처리 방식과 적재 위치가 달라질 수 있음 데이터 발생 주기에 따라 일괄... Read More

1. 하둡 설치 이미 CH02에서 CM을 통해 설치 완료 하둡은 수집, 적재, 처리, 분석의 전 영역에 걸쳐 모든 컴포넌트와 연결되어 설치 구성됨 하둡 웹 관리 화면 http://server01.hadoop.com:9870 하... Read More

[출처: 실무로 배우는 빅데이터 기술, 김강원 저] 1. 플럼 Flume 1) 플럼 빅데이터를 __수집__할 때 다양한 수집 요구사항들을 해결하기 위한 기능으로 구성된 소프트웨어 통신 프로토콜, 메시지 포맷, 발생 주기, 데이터 크기 등 데이터를 ... Read More

0. 이번 장에서 할 것 빅데이터 아키텍처의 첫 번째 레이어인 수집 영역 구축 스마트카 시뮬레이터로 배치 파일(스마트카 상태 정보)과 실시간 로그(스마트카 운행 정보) 생성 이를 플러모가 카프카로 수집 1. Flume 설치 CM 홈에서 [... Read More

[출처: 실무로 배우는 빅데이터 기술, 김강원 저] 1. 요구사항 파악 1) 차량의 다양한 장치로부터 발생하는 로그 파일을 수집해서 기능별 상태를 점검한다. 2) 운전자의 운행 정보가 담긴 로그를 실시간으로 수집해서 주행 패턴을 분석한다. 2. 데이터... Read More

[출처: 실무로 배우는 빅데이터 기술, 김강원 저] 1. 클라우데라 매니저(CM) 설치 CM : 빅데이터 에코시스템을 쉽게 설치하고 관리해주는 빅데이터 시스템 자동화 도구 빅데이터 소프트웨어에 대한 프로비저닝, 매니지먼트, 모니터링 수행 ... Read More

[출처: 실무로 배우는 빅데이터 기술, 김강원 저] 1. 설치해야 할 응용프로그램 JAVA (Java SE 8u-) 이클립스 Oracle Virtual Box PuTTY (SSH 접속 프로그램) FileZilla (FTP 접속 프로그램) ... Read More

1. Network Topology 컴퓨터의 네트워크 요소들 (링크, 노드 등)을 물리적으로 연결해 놓은 것, 또는 그 연결 방식 2. Client - Server Client 네트워크의 말단에서 자원 요청 ... Read More

1. Load Balancing 서버들에게 트래픽을 골고루 분배하는 것 목적 트래픽을 여러 서버에 분산 -> 더 많은 리소스를 사용할 수 있도록 각각의 인스턴스에게 트래픽 -> 로드 밸... Read More

1. EC2 (Elastic Compute Cloud) 늘어나는 임대 컴퓨터 Instance 가상 컴퓨터 환경 원하는 만큼 구축 가능 Instance Type CPU, 메... Read More

🐽 버블 정렬 알고리즘 인접한 두 원소를 검사하여 정렬 문제: 비내림차순으로 n개의 키 정렬 입력: 양의 정수 n, 키의 배열 S[1..n] 출력: 비내림차순으로 정렬된 키의 배열 S[1..n] 의사코드 void bubbleSort(int ... Read More

☁️ 분기 한정법 최적화 문제를 해결하기 위해 되추적 기법을 향상시킨 기법 되추적 기버보가 마찬가지로 상태 공간 트리 사용 상태 공간 트리를 순회하는 방법이 제한되어 있지 않음! 되추적 기법은 ... Read More

🐤 되추적 기법 어떤 마디의 유망성을 점검한 후, 유망하지 않다고 판정 되면 그 마디의 부모 마디로 돌아가서 다음 후손 마디에 대한 검색을 계속 하는 절차 문제 풀이 과정을 트리로 나타낼 수 있음 유망성 전혀 해답이 나올 가능성이 ... Read More

🍒 Greedy Algorithm 어떤 선택을 해야 할 때 그 당시에 가장 최선의 선택을 하여 문제를 해결하는 알고리즘 그 당시에 지역적으로 최적인 선택 이런 선택을 모은 최종적인 해답이 최적의 해답이라는 보장은 없음 따라서 해답을 얻은 후에 이 ... Read More

🍰 분할 정복법 문제의 사례를 2개 이상의 더 작은 사례로 나누어 divide 각 작은 사례에 대한 해답 conquer을 쉽게 얻을 수 있으면 이들의 해답을 결합 combine하여 원 문제의 해답을 얻는 방식 문제를 나누는 과정: 해답을 쉽게 ... Read More

🍒 알고리즘이란 문제에 대한 답을 찾기 위해 계산하는 절차 단계별로 주의 깊게 설계된 계산 과정 입력을 받아 출력으로 전환시켜주는 일련의 계산 절차 🍒 순차 검색 알고리즘 문제: n개의 키로 구성된 배열 S에 키 x가 있는가? 입력:... Read More

1. 문제 컨테이너 이름: fortune:20.02 Dockerfile에 포함될 내용 베이스 이미지: debian 컨테이너에 아래의 webpage.sh 파일 복사 컨테이너에 fortune 애플리케이션 설치 ... Read More

1. Docker 정의 및 사용 이유 애플리케이션을 신속하게 구축, 테스트 및 배포할 수 있는 소프트웨어 플랫폼 소프트웨어를 컨테이너라는 표준화된 유닛으로 패키징하며, 이 컨테이너에는 라이브러리, 시스템 도구, 코드, 런타임 등 소프트웨어를 실행하는데 ... Read More

1. docker code services database libraries 2. docker의 필요성 1. ‘It works on my machine’ 문제 predictable consistent 2. DevOp... Read More

1. 라인 차트 꾸미기 (하이라이트, 주석) 2. 영역 차트, 워드 클라우드, 히스토그램 3. 방탄소년단 앨범 워드 클라우드 앨범을 선택하면 그에 따른 워드 클라우드 사진을 보여준다. 워드 클라우드는 파이썬으로 만든 것이다. Read More

따로 명시하지 않은 모든 데이터는 태블로에 기본적으로 저장되어 있는 Sample - Superstore 데이터를 활용했다. 1. 막대 차트 2. 서버 데이터 - 구글 스프레드 시트 활용하여 연결 corona virus data 3. 데이터 전처리,... Read More

1. 태블로 시작하기 tableu 태블로는 이곳에서 다운로드 받을 수 있다. 원래는 구매를 해야 하는데, 대학생과 교수한테는 학교 이메일을 사용하면 무료로 프로그램을 제공해준다. 태블로는 비즈니스 인텔리전스와 분석 소프트웨어로, 데이터 시각화 프로그램이다. ... Read More

1. 색으로 시각화한 라인 차트 2. 맵에 시각화한 차트 3. 크기로 시각화한 막대 차트 4. 원과 색으로 시각화한 파이 차트 Read More

SQL 실행 과정 1. SQL 파싱 (PARSING) SQL 파싱은 1) SQL 문장에 문법적 오류가 없는지 검사 (Syntax 검사) 2) 의미상 오류가 없는지 검사 (Semantic 검사) 3) 사용자가 발생한 SQL과 그 실행계획시 라이브... Read More

https://www.boostcourse.org/ai111 Convolution Continuous convolution $(f*g)(t) = \int f(\tau)g(t-\tau)d\tau = \int f(t-\tau)g(t)d\tau$ ... Read More

https://www.acmicpc.net/problem/1526 문제 은민이는 4와 7을 좋아하고, 나머지 숫자는 싫어한다. 금민수는 어떤 수가 4와 7로만 이루어진 수를 말한다. N이 주어졌을 때, N보다 작거나 같은 금민수 중 가장 큰 것을 출력하는... Read More

https://www.boostcourse.org/ai111 Regularization 학습 방해 -> 학습 데이터뿐만 아니라 test data에도 잘 작동하기 위해 Early stopping Pa... Read More

https://www.boostcourse.org/ai111 Gradient Descent Stochastic gradient descent : 하나의 data Mini-batch gradient descent : data의 subset batc... Read More

https://www.acmicpc.net/problem/1813 문제 논리학 교수 양항승은 칠판에 다음과 같은 내용을 썼다. 정확하게 a개의 말은 참이다. 정확하게 b개의 말은 참이다. 정확하게 c개의 말은 참이다. … … … ... Read More

https://www.boostcourse.org/ai111 Introduction Gradient Descent 편미분을 통해 loss function의 local minimum을 찾는 과정 Important Concepts ... Read More

https://www.acmicpc.net/problem/1855 문제 준표와 세준이는 서로 솔루션을 토론 하면서 다른 사람이 자신들의 솔루션을 듣지 못하게 하도록 서로 메시지를 주고받을 때 메시지를 암호화 하여서 주고받았다. 암호를 만드는 방법은 다음과 ... Read More

https://www.boostcourse.org/ai111 Introduction AI: Mimic human intelligence ML: Data-driven approach DL: Neural networks Deep Learning... Read More

https://www.acmicpc.net/problem/1312 문제 피제수(분자) A와 제수(분모) B가 있다. 두 수를 나누었을 때, 소숫점 아래 N번째 자리수를 구하려고 한다. 예를 들어, A=3, B=4, N=1이라면, A÷B=0.75 이므로 출력... Read More

메디포뉴스 http://www.medifonews.com/news/article.html?no=178990 세브란스병원이 ICT 기반의 병상 시스템을 구축해 환자 안전관리 기능을 강화했다. 세브란스병원은 최근 병실 재실자표와 환자 명찰을 진료시스템(u-Se... Read More

https://www.acmicpc.net/problem/1427 문제 배열을 정렬하는 것은 쉽다. 수가 주어지면, 그 수의 각 자리수를 내림차순으로 정렬해보자. 입력 첫째 줄에 정렬하려고 하는 수 N이 주어진다. N은 1,000,000,000보다 ... Read More

AI 타임스 https://www.aitimes.com/news/articleView.html?idxno=151154 한국과학기술원(KAIST, 총장 이광형)은 바이오및뇌공학과 최정균 교수가 펜타메딕스와의 공동연구를 통해 개인 맞춤 치료용 암 백신에 ... Read More

https://www.acmicpc.net/problem/2033 문제 정수 N이 주어져 있을 때 이 수가 10보다 크면 일의 자리에서 반올림을 하고, 이 결과가 100보다 크면 다시 10의 자리에서 반올림을 하고, 또 이 수가 1000보다 크면 100의 ... Read More

https://www.acmicpc.net/problem/1296 문제 연두는 프로그래밍 대회에 나갈 팀 이름을 정하려고 한다. 미신을 믿는 연두는 이환이에게 공식을 하나 받아왔고, 이 공식을 이용해 우승할 확률이 가장 높은 팀 이름을 찾으려고 한다. 이... Read More

1. 피처 엔지니어링 원본 데이터로부터 도메인 지식 등을 바탕으로 문제를 해결하는데 도움이 되는 Feature를 생성, 변환하고 이를 머신러닝 모델에 적합한 형식으로 변환하는 작업 일반 머신러닝에서는 성능을 올리는데 가장 중요한 ... Read More

https://www.acmicpc.net/problem/2596 문제 병현이는 지은이에게 문자 A, B, C, D, E, F, G, H 로 쓰여진 편지를 날마다 보내는데, 컴퓨터로 보내는 비밀편지로, 한 문자마다 0 또는 1인 숫자 여섯 개를 사용하여 보... Read More

https://www.acmicpc.net/problem/1934 문제 두 자연수 A와 B에 대해서, A의 배수이면서 B의 배수인 자연수를 A와 B의 공배수라고 한다. 이런 공배수 중에서 가장 작은 수를 최소공배수라고 한다. 예를 들어, 6과 15의 공배수... Read More

https://www.acmicpc.net/problem/1551 문제 크기가 N인 수열 A가 주어졌을 때, 세준이는 인접한 두 원소의 차이를 이용해서 크기가 N-1인 수열 B를 만들 수 있다. 예를 들어, A = {5, 6, 3, 9, -1} 이었을 때... Read More

https://www.acmicpc.net/problem/1952 문제 M줄 N칸으로 되어 있는 표 위에, 달팽이 모양으로 선을 그리려고 한다. 위의 그림은 M=5, N=3의 예이다. 이제 표의 왼쪽 위 칸(ㅇ)에서 시작하여, 오른쪽으로 선을 그려 나... Read More

https://www.acmicpc.net/problem/2609 문제 두 개의 자연수를 입력받아 최대 공약수와 최소 공배수를 출력하는 프로그램을 작성하시오. 입력 첫째 줄에는 두 개의 자연수가 주어진다. 이 둘은 10,000이하의 자연수이며 사이에... Read More

https://hanium.udemy.com/course/keras-deep-learning/learn/lecture/9343372#reviews RNN vs DNN DNN input이 2개가 있다면 각 input이 서로 f... Read More

https://hanium.udemy.com/course/keras-deep-learning/learn/lecture/9359716#reviews RNN 가진 데이터의 종류에 따라, 어떻게 학습시키고 싶은지에 따라 Many to One ... Read More

https://www.acmicpc.net/problem/1037 문제 양수 A가 N의 진짜 약수가 되려면, N이 A의 배수이고, A가 1과 N이 아니어야 한다. 어떤 수 N의 진짜 약수가 모두 주어질 때, N을 구하는 프로그램을 작성하시오. 입력 ... Read More

https://www.acmicpc.net/problem/1316 문제 그룹 단어란 단어에 존재하는 모든 문자에 대해서, 각 문자가 연속해서 나타나는 경우만을 말한다. 예를 들면, ccazzzzbb는 c, a, z, b가 모두 연속해서 나타나고, kin도 ... Read More

1. 데이터 전처리 데이터를 머신러닝 모델에 입력하기 위해 적절히 처리하는 과정 EDA / 모델이나 목적에 따라 달라지는 데이터 전처리 선형 모델인지, 트리인지, 딥러닝인지 등에 따라 방식 달라짐 연속형 변수 Scaling 데이터의 단위... Read More

https://www.acmicpc.net/problem/1145 문제 다섯 개의 자연수가 있다. 이 수의 적어도 대부분의 배수는 위의 수 중 적어도 세 개로 나누어 지는 가장 작은 자연수이다. 서로 다른 다섯 개의 자연수가 주어질 때, 적어도 대부분의 ... Read More

IT WORLD https://www.itworld.co.kr/tags/149449/코파일럿/283279 마이크로소프트가 과거에도 클리피(Clippy) 도우미 봇을 만들었던 것을 고려하면 코파일럿(Copilot)의 AI 툴도 딱히 놀라운 무언가는 아니다. 그... Read More

1. Underfitting & Overfitting fit 데이터를 잘 설명할 수 있는 능력 Underfitting: 데이터를 설명하지 못함 Overfitting: 데이터를 과하게 설명함 under - 적절 - ov... Read More

1. 정형 데이터 structured, tabular data 엑셀 파일 형식이나 RDB 테이블에 담을 수 있는 데이터로, 행과 열로 표현 가능한 데이터 하나의 행은 데이터 인스턴스 각 열은 데이터의 피처(속성)을 나타냄 비정형 데이터 ... Read More

https://www.acmicpc.net/problem/1546 문제 세준이는 기말고사를 망쳤다. 세준이는 점수를 조작해서 집에 가져가기로 했다. 일단 세준이는 자기 점수 중에 최댓값을 골랐다. 이 값을 M이라고 한다. 그리고 나서 모든 점수를 점수/M*... Read More

https://www.acmicpc.net/problem/1268 문제 오민식 선생님은 올해 형택초등학교 6학년 1반 담임을 맡게 되었다. 오민식 선생님은 우선 임시로 반장을 정하고 학생들이 서로 친숙해진 후에 정식으로 선거를 통해 반장을 선출하려고 한다.... Read More

https://www.acmicpc.net/problem/1834 문제 N으로 나누었을 때 나머지와 몫이 같은 모든 자연수의 합을 구하는 프로그램을 작성하시오. 예를 들어 N=3일 때, 나머지와 몫이 모두 같은 자연수는 4와 8 두 개가 있으므로, 그 합은... Read More

https://www.acmicpc.net/problem/1924 문제 오늘은 2007년 1월 1일 월요일이다. 그렇다면 2007년 x월 y일은 무슨 요일일까? 이를 알아내는 프로그램을 작성하시오. 입력 첫째 줄에 빈 칸을 사이에 두고 x(1 ≤ x... Read More

SparkSession from pyspark.sql import SparkSession spark = SparkSession.builder.appName('Test').getOrCreate() spark.conf.sest('spark.sql.executio... Read More

https://www.acmicpc.net/problem/1236 문제 영식이는 직사각형 모양의 성을 가지고 있다. 성의 1층은 몇 명의 경비원에 의해서 보호되고 있다. 영식이는 모든 행과 모든 열에 한 명 이상의 경비원이 있으면 좋겠다고 생각했다. 성의... Read More

다중 선형 회귀 1. 기존 단순회귀모형의 문제점 종속변수를 설명하는 독립변수가 2개일 때 단순회귀모형을 사용하면 모형 설정이 부정확하고, 종속변수에 대한 중요한 설명변수가 누락될 수 있음 즉, 계수추정량에 대해 bias가 발생 2. 편향(Bia... Read More

1. 회귀 분석 독립변수 x에 대응하는 종속변수 y와 가장 유사한 값을 갖는 함수 f(x)를 찾는 과정 → f(x)를 통해 미래 사건 예측 ^y = f(x) ≈ y 회귀 분석을 통해 구한 함수 f(x)가 선형 함수일 때 f(x) = ... Read More

특성 공학 (Feature Engineering) 1. 정의 모델 정확도를 높이기 위해 주어진 데이터를 예측 모델의 문제를 잘 표현할 수 있는 features로 변형시키는 과정 머신러닝 알고리즘을 작동하기 위해 데이터의 도메인 지식을 활용해 featur... Read More

https://www.acmicpc.net/problem/1157 문제 알파벳 대소문자로 된 단어가 주어지면, 이 단어에서 가장 많이 사용된 알파벳이 무엇인지 알아내는 프로그램을 작성하시오. 단, 대문자와 소문자를 구분하지 않는다. 입력 알파벳 대소... Read More

1. 데이터 전처리 특정 분석에 적합하게 데이터를 가공하는 작업 완결성 필수로 기입되어 있어야 하는 데이터는 모두 입력되어야 한다. 유일성 동일한 데이터가 불필요하게 중복되어 있으면 안된다. 통일성 데이터가 모두 동일한 형식으로 입... Read More

1. K-NN 주변의 가장 가까운 K개의 데이터 를 보고 새로운 데이터를 판단하는 알고리즘 N개의 특성을 가진 데이터는 n차원의 공간에 점으로 표현됨 유사한 특성의 데이터는 거리가 가깝고, 다양한 거리 함수를 통해 데이터 간 거리를 구할 수... Read More

🥥 트리거 개념 프로시저와 함수는 그 실행이 외부적인 실행 명령에 의해 이루어지는데 반해, 트리거의 실행은 트리거링 사건(Triggering Event)에 의해 내부적으로 이루어짐 트리거를 일으키는 사건 (event) 데이터베이스 테... Read More

🍯 프로시저 개요 매개 변수를 받을 수 있고, 반복해서 사용할 수 있는 이름이 있는 PL/SQL 블록 return 값이 없음 연속 실행 또는 구현이 복잡한 트랜잭션을 수행하는 PL/SQL 블록을 DB에 저장하기 위해 생성 형식 CREAT... Read More

📋 수강신청 입력 프로시저 및 함수 적용 수강신청 입력 시 예외 처리가 많음 이를 프로시저와 함수를 이용하여 작성 수강신청 입력 시 복잡한 예외 처리를 그 때마다 할 필요 없이, 프로시저와 함수를 이용하여 쉽게 처리 가능 ... Read More

🍞 함수 개요 개념 매개 변수를 받을 수 있고, 반복해서 사용할 수 있는 이름이 있는 PL/SQL 블록 return 값이 있음 용도 연속 실행 또는 구현이 복잡한 트랜잭션을 수행하는 PL/... Read More

연합뉴스 https://n.news.naver.com/mnews/article/001/0013884807?sid=105 삼성전자 자사 스마트폰의 기본 검색 엔진 변경 검토 삼성전자가 자사 스마트폰의 기본 검색 엔진을 구글에서 마이크로소프트(MS)의 빙으로 교... Read More

https://www.acmicpc.net/problem/1259 문제 어떤 단어를 뒤에서부터 읽어도 똑같다면 그 단어를 팰린드롬이라고 한다. ‘radar’, ‘sees’는 팰린드롬이다. 수도 팰린드롬으로 취급할 수 있다. 수의 숫자들을 뒤에서부터 읽어도... Read More

https://www.inflearn.com/course/아파치-카프카-입문/dashboard 🐳 Kafka Broker 카프카가 설치되어 있는 서버 단위 보통 3개 이상 브로커 사용 권장 파티션 1개, replication 1, 브로커 3대 -... Read More

https://www.inflearn.com/course/아파치-카프카-입문/dashboard 🪼 카프카란 무엇인가 카프카 이전 데이터를 전송하는 소스 애플리케이션과 데이터를 받는 타겟 애플리케이션 처음에는 단방향 통신 시간이 지나면서 소스 애... Read More

https://www.acmicpc.net/problem/2693 문제 배열 A가 주어졌을 때, N번째 큰 값을 출력하는 프로그램을 작성하시오. 배열 A의 크기는 항상 10이고, 자연수만 가지고 있다. N은 항상 3이다. 입력 첫째 줄에 테스트 케... Read More

🍪 시간 복잡도 표기법 시간 복잡도: 문제를 해결하기 위한 연산 횟수 일반적으로 1억 번의 연산을 1초의 시간으로 간주 시간 복잡도 정의 빅-오메가: 최선일 때의 연산 횟수 빅-세타: 보통일 때의 연산 횟... Read More

🧇 디버깅의 중요성 논리 오류를 잡는 것이 중요! 디버깅: 프로그램에서 발생하는 문법 오류나 논리 오류를 찾아 바로잡는 과정 디버깅의 중요성 index 범위, 데이터 타입 잘못 지정하는 등의 실수 -> 디버깅으로 해결 가능 디버깅... Read More

https://www.acmicpc.net/problem/1271 문제 갑부 최백준 조교는 동전을 최소로 바꾸는데 성공했으나 김재홍 조교가 그 돈을 발견해서 최백준 조교에게 그 돈을 나누자고 따진다. 그 사실이 전 우주로 알려지자 우주에 있던 많은 생명체... Read More

https://www.acmicpc.net/problem/2163 문제 정화는 N×M 크기의 초콜릿을 하나 가지고 있다. 초콜릿은 금이 가 있는 모양을 하고 있으며, 그 금에 의해 N×M개의 조각으로 나눠질 수 있다. 초콜릿의 크기가 너무 크다고 생각한 ... Read More

🌳 Cursor SQL 처리 결과가 저장된 작업 영역에 이름을 지정하고, 저장된 정보에 접근할 수 있게 함 SQL 명령을 실행시키면 서버는 명령을 parse하고 실행하기 위한 메모리 영역을 open하는데, 이 영역을 cursor라고 부름 커... Read More

🍀 SELECT 문 SELECT select_list INTO variable_name | record_name FROM table WHERE condition; 반드시 하나의 행만을 추출 추출되는 데이터 행이 없거나 하나 이상일 경우 예외 발생... Read More

🌳 예외 종류 예외 설명 처리 미리 정의된 오라클 서버 예외 </br> (Predefined Exceptions) PL/SQL에서 자주 발생하는 약 20... Read More

https://www.acmicpc.net/problem/1357 문제 어떤 수 X가 주어졌을 때, X의 모든 자리수가 역순이 된 수를 얻을 수 있다. Rev(X)를 X의 모든 자리수를 역순으로 만드는 함수라고 하자. 예를 들어, X=123일 때, Rev(... Read More

https://www.acmicpc.net/problem/1292 문제 동호는 내년에 초등학교를 입학한다. 그래서 동호 어머니는 수학 선행 학습을 위해 쉽게 푸는 문제를 동호에게 주었다. 이 문제는 다음과 같다. 1을 한 번, 2를 두 번, 3을 세 번,... Read More

https://www.acmicpc.net/problem/1524 문제 세준이와 세비는 온라인 게임을 즐겨한다. 이 온라인 게임에서는 군대를 서로 키울 수 있다. 세준이는 N명의 병사를 키웠고, 세비는 M명의 병사를 키웠다. 이제 서로 전쟁을 하려고 한다... Read More

https://www.acmicpc.net/problem/1032 문제 시작 -> 실행 -> cmd를 쳐보자. 검정 화면이 눈에 보인다. 여기서 dir이라고 치면 그 디렉토리에 있는 서브디렉토리와 파일이 모두 나온다. 이때 원하는 파일을 찾으려면... Read More

1. Bing AI챗봇 장착한 마이크로소프트(MS) 검색엔진 ‘Bing’…이미지 생성 추가 MS가 AI 챗봇을 장착해 새롭게 출시한 검색엔진 ‘빙’은 기존 키워드 검색의 한계를 넘어 대화방식을 통해 원하는 답변을 얻는다. 출시 한 달만에 일일 활성 사용자 ... Read More

🌼 강의 링크 (무료) https://www.inflearn.com/course/초보-백엔드-개발자-로드맵 백엔드 로드맵 링크 https://roadmap.sh/backend 🌼 인터넷 인터넷 동작 방식 중앙에 라우터 라는 기계를 두고, 각... Read More

https://www.acmicpc.net/problem/1212 문제 8진수가 주어졌을 때, 2진수로 변환하는 프로그램을 작성하시오. 입력 첫째 줄에 8진수가 주어진다. 주어지는 수의 길이는 333,334을 넘지 않는다. 출력 첫째 줄에 주... Read More

https://www.acmicpc.net/problem/1100 문제 체스판은 8×8크기이고, 검정 칸과 하얀 칸이 번갈아가면서 색칠되어 있다. 가장 왼쪽 위칸 (0,0)은 하얀색이다. 체스판의 상태가 주어졌을 때, 하얀 칸 위에 말이 몇 개 있는지 출력... Read More

🍀 PL/SQL 개요 및 특징 Oracle에서 제공하는 SQL을 확장한 절차적 프로그래밍 언어 SQL 문장에서 변수 정의, 조건 처리, 반복 처리 등 프로그래밍 언어가 보이는 제어 구조 제공 SQL과 프로그래밍 언어의 통합 접근 중 한 형태 ES... Read More

🪞 Views 하나 이상의 테이블로부터 유도된 이름을 가진 가상 테이블 CREATE [OR REPLACE] VIEW view_name [col1, col2, ...] -- 컬럼명 변경 시 정의 AS SELECT statement; ... Read More

🍈 문자 처리 함수 CHR 숫자 -> 해당 ASCII 값에 해당하는 문자 반환 select CHR(숫자) from dual; select CHR(65) from dual; --> A ASCII 문자 -> ASCII 코드 값... Read More

🍈 날짜 처리 함수 SYSDATE 현재 날짜와 시간 반환 format 변경 TO_CHAR(SYSDATE, HH24:MI:SS') : 24시간 포맷으로 시간만 반환 TO_CHAR(SYSDATE, HH:MI:SS') : 12시... Read More

🍈 숫자 처리 함수 CEIL 소수점에서 올림 select CEIL(숫자) from dual; select CEIL(7.6) from dual; --> 8 select CEIL(0.1) from dual; --> 1 FLOOR ... Read More

https://www.acmicpc.net/problem/1076 문제 전자 제품에는 저항이 들어간다. 저항은 색 3개를 이용해서 그 저항이 몇 옴인지 나타낸다. 처음 색 2개는 저항의 값이고, 마지막 색은 곱해야 하는 값이다. 저항의 값은 다음 표를 이용... Read More

Sub Query (서브 질의) 하나의 SQL문에 중첩된 SELECT문 서브 질의는 주 질의 이전에 한 번 실행됨 서브 질의의 결과는 주 질의에 의해 사용됨 유형 : return 값이 어떤 유형인지 단일 행(Single... Read More

join 하나 이상의 테이블을 연결하여 데이터를 검색하는 방법 보통 두 개 이상의 행들의 공통된 값(기본키 및 외래키 값)을 사용하여 조인 실행 ex) SELECT table.column1 [, table.co... Read More

🍏 Integrity Constraints 칼럼 레벨 제약 조건 칼럼 선언할 때 datatype 옆에 정의 NOT NULL 제약 조건은 칼럼 레벨에서만 정의 가능! Column datatype [CONSTRAINT constraint_name] ... Read More

https://www.acmicpc.net/problem/1075/ 문제 두 정수 N과 F가 주어진다. 지민이는 정수 N의 가장 뒤 두 자리를 적절히 바꿔서 N을 F로 나누어 떨어지게 만들려고 한다. 만약 가능한 것이 여러 가지이면, 뒤 두 자리를 가능하면... Read More

https://www.acmicpc.net/problem/1085/ 문제 한수는 지금 (x, y)에 있다. 직사각형은 각 변이 좌표축에 평행하고, 왼쪽 아래 꼭짓점은 (0, 0), 오른쪽 위 꼭짓점은 (w, h)에 있다. 직사각형의 경계선까지 가는 거리의 최... Read More

https://www.acmicpc.net/problem/1009/ 문제 재용이는 최신 컴퓨터 10대를 가지고 있다. 어느 날 재용이는 많은 데이터를 처리해야 될 일이 생겨서 각 컴퓨터에 1번부터 10번까지의 번호를 부여하고, 10대의 컴퓨터가 다음과 같은 ... Read More

🌱 API (Application Proframming Interface) 응용 프로그램에서 사용할 수 있도록 운영체제나 프로그래밍 언어가 제공하는 기능을 제어할 수 있게 만든 인터페이스 (위키백과) 처음부터 개발하거나 유지보수할 필요가 없는 외부... Read More