Data Engineering/실리콘밸리에서 날아온 데이터 엔지니어링 스타터 키트
[2주차] SQL for Data Engineers(2)
SQL : DDL과 DML, DDL과 DML이 무엇인지 알아보자 데이터 엔지니어가 기억할 점(1) - 현업에서 깨끗한 데이터란 존재하지 않음 > 항상 데이터를 믿을 수 있는지 의심할 껏! → 의(疑)데이터증 > 실제 레코드를 몇 개 살펴보는 것 만한 것이 없음 → 노가다 - 데이터 일을 한다면 항상 데이터의 품질을 의심하고 체크하는 버릇이 필요 > 중복된 레코드들 체크하기 > 최근 데이터의 존재 여부 체크하기 (freshness) > Primary key uniqueness가 지켜지는지 체크하기 > 값이 비어있는 컬럼들이 있는지 체크하기 > 위의 체크는 코딩의 unit test 형태로 만들어 매번 쉽게 체크해볼 수 있음 데이터 엔지니어가 기억할 점(2) - 어느 시점이 되면 너무나 많은 테이블들이 존재하..
