GCP Cloud Build로 배포 자동화 Github 레포지토리의 main 브랜치에 push가 발생할 경우 GCP Cloud Build에서 빌드 및 배포까지 실행하는 파이프라인을 만들어보았습니다. Cloud Build GCP Cloud Build > 트리거 > 트리거 만들기 이벤트: 브랜치로 푸시 ...

배경 12개 섹션에 대한 크롤링 + api 수집 작업을 마케터 분이 필요할 때 실행할 수 있도록 자동화 필요 12개의 작업은 모두 한 번에 실행되어야 함 (동시성이 중요) - 검색 결과 순위 등을 크롤링하기 때문 구글 스프레드 시트에서 키워드 목록을 읽어와 크롤링에 사용하고, 크롤링 결과를 다시 스프레드 시트에 작성해야 함 ECR 이...

오류 INFO: Not scanning for jupyter notebooks. <unknown>:165: SyntaxWarning: invalid escape sequence '\S' <unknown>:166: SyntaxWarning: invalid escape sequence '\[' <unknown>:207: ...

문제 크롤링 스크립트를 비개발자가 언제든 실행할 수 있도록 자동화를 해야함 AWS ECR - Batch - Lambda 를 이용해서 docker 이미지로 크롤링 스크립트를 올리고, lambda로 batch job을 실행하고자 함 크롤링 스크립트가 여러 개이고, 하나의 스크립트 실행 시간이 lambda의 time limit...

1. IAM 사용자 사용자 생성 및 그룹 배치 -> 글로벌 서비스 루트 계정은 계정을 만들 때에만 사용되어야 함 그 후에는 루트 계정을 더 이상 사용하거나 공유하지 않아야 함 사용자를 만들기! 그룹을 만들어 사용자들을 묶을 수 있음 그룹 안에 그룹을 배치할 수는 없음...

1. Spark Streaming 실시간 데이터 스트림 처리를 위한 Spark API Kafka, Kinesis, Flume, TCP 소켓 등의 다양한 소스에서 발생하는 데이터 처리 가능 Join, Map, Reduce, Window와 같은 고급 함수 사용 가능 streaming 데이터일지라도 내부에서 data fra...

1. Kafka CLI Tools 접근 방법 docker ps를 통해 Broker의 Container ID 혹은 Container 이름 파악 (confluentinc/cp-kafka:7.3.2) 해당 컨테이너로 로그인 docker exec -it Broker_Container_ID sh 다양한 kafk...

1. Kafka 소개 Kafka 실시간 데이터를 처리하기 위해 설계된 오픈소스 분산 스트리밍 플랫폼 데이터 재생이 가능한 분산 커밋 로그 (Distributed Commit Log) Scalability와 Fault Tolerance를 제공하는 Publish-Subscription 메시징 시스템 ...

1. 구글이 데이터 분야에 끼친 영향 구글의 탄생 1) 구글 검색 엔진의 등장 그 전까지의 검색 엔진은 기본적으로 웹 페이지 상의 텍스트를 보고 랭킹을 결정 알타비스타, 야후, .. 검색 결과 페이지에 온갖 종류의 스팸 웹 페이지들이 넘쳐나기 시작 구글은 웹 페이지들 간의 링크를 기반으로 중요...

1. Spark 파일 포맷 데이터는 디스크에 파일로 저장됨 일에 맞게 최적화 필요! Unstructured Semi-structured Structured Text JSON</br>XML</br...