[DEV] 6주차. 데이터 웨어하우스와 SQL과 데이터분석(2)
1. Redshift 론치 데모 aws에서 AWS Redshift 클러스터 생성 실습용이기 때문에 가장 저렴한 dc2.large 선택 노드는 1개 샘플 데이터 X 추가 구성 기본값 사용 해제 네트워크 및 보안에서 퍼블릭 액세스 가능 선택! -> colab에서 액세스 가능 Error...
1. Redshift 론치 데모 aws에서 AWS Redshift 클러스터 생성 실습용이기 때문에 가장 저렴한 dc2.large 선택 노드는 1개 샘플 데이터 X 추가 구성 기본값 사용 해제 네트워크 및 보안에서 퍼블릭 액세스 가능 선택! -> colab에서 액세스 가능 Error...
1. 데이터 분야에서 SQL 큰 데이터를 processing하여 작은 데이터로 변환 주어진 문제를 답하기 위해서 데이터 분석을 하기 위한 관점에서 사용 서버에서의 DB와는 목적이 조금 다름 사용자들에 대한 정보, 상품에 대한 정보, 사용자의 행동에 대한 정보 등을 빠르게 저장하고 읽어서 서비스를 운영하기 위한 목적 ...
크롤링 가능 여부 확인 [사이트의 root url]/robots.txt 에서 확인! 카카오의 경우 User-agent: * Disallow: /wp-admin/ Allow: /wp-admin/admin-ajax.php Sitemap: https://tech.kakao.com/wp-sitemap.xml Disallow: /wp-conte...
QuerySet DB에서 전달받은 객체들의 모음 (list) Python으로 작성한 코드가 SQL로 mapping되어 QuerySet 자료형으로 넘어옴 Django에서는 속성이 column, 속성에 부여된 값이 row 임 -> dictionary 형태 .objects.all() QuerySet 타입 테이블에 있는 모든...
1. 배경 18개의 기업 별 테그 블로그를 크롤링해서 태그 별 빈도수 시각화 & 글 모아 보여주기 ERD 2. 전체 태그 빈도수 시각화 views.py from .models import * from django.http import JsonResponse import plotly.express as px import pa...
1. 효과적인 학습 방법 긍정적인 감정 이입하기 잘 모르는 용어나 개념도 반복해서 듣고 사용하다 보면 익숙해짐 계속해서 새로운 개념들이 나오는 분야이기 때문에 모르는 용어, 주제도 긍정적으로 바라보는 자세를 가져야 함! 긴 호흡으로 바라보기 공부해야 할 내용이 굉장히 많다보니 ...
1. 배경 Django 프로젝트에서 팀원이 이미 개발하고 있던 웹 프로젝트를 받아서 협업해야 하는 상황 가상환경 위에서 개발 중이어서 그 가상환경을 그대로 이용하면 되겠다고 생각했는데, vscode에서 파이썬 인터프리터를 인식하지 못함 검색해보니 내 로컬에서 가상환경을 새로 만들어야 함을 알게됨! 2. 방법 1) 개발 상황 ...
1. RelatedField polls_api/serializers.py UserSerializer 수정 1) StringRelatedField model의 str 값으로 표현 class UserSerializer(serializers.ModelSerializer): questions = ...
1. 소프트웨어 개발 Plan 요구조건은 계속해서 변화함 디자인 시 모든 문제를 미리 알 수 없음 water-fall 모델은 소프트웨어 개발에 부적합 속도에 더 치중하는 것이 일반적 애자일 개발 방법론 (Agile Development) 짧게 자주 반복해서 계산해 나가자! 아는 만큼, 보이...
1. User 추가 및 관리 polls/models.py owner = models.ForeignKey('auth.User', related_name='questions', on_delete=models.CASCADE, null=True) 추가 class Question(models.Model): q...