[1주차] 데이터팀의 역할

요즘의 커리어란? 

요즘의 커리어는 정글짐

- 예전에는 커리어가 사다리라는 생각이 있었지만, 요즘의 커리어는 정글짐이다. 

- 어디에서 시작하느냐는 별로 중요하지않다. up&down을 거치며, 나를 경험하는 것이 중요하다.

- 젊을 때에 실패는 실패가 아니라는 생각을 가지며 나아가기

 

배움의 전형적인 패턴

- 처음 배울 때 가장 조심해야 할 것

 > 잘하는 사람을 보고 기죽지 말 것. 모든 공부는 시간이 걸린다. 기죽는 것이 아닌, 나도 저 사람처럼 열심히 해야겠다라는 생각 갖기

- 배움의 정체기는 오게 되어있다. 여기서 어떻게 하느냐가 아주 중요하다.

 1. 가장 중요한 것은 버티는 힘 → 이걸 즐겨야함 :)

 2. 내가 뭘 모르는지 다시한번 생각해보자 → 내가 어디서 막혔는지 스스로 자문자답 해보기

 3. 꾸준함의 중요성  → 비가 오나 눈이 오나, 내가 할일을 한다.

 4. 선택과 집중  → 조급해하며 많은 걸 하지말고, 기본부터 천천히 꾸준하게 나아가기

 

- 배움은 Waterfall 기법이 아닌, Agile 기법이다.

 

Goals of Data Organization, 데이터 팀의 비전과 가치를 만들어내는 방법은?

 

Data Flow

데이터 조직의 비전

- 데이터팀은 보통 서포트 조직으로서, 직접 매출을 발생시키는 조직은 아니다.

 1. 더 좋은 의사 결정을 위해 데이터 문해력을 키우고, 도움을 주어야한다.

 2. 고품질 데이터에서 패턴을 찾아 서비스 기능을 개선한다.

- 간단한 솔루션일수록 좋은 솔루션이다.

- 데이터 팀은 끊임없이, 회사의 매출과 이윤의 상관관계를 정량화하고, 데이터팀의 존재 가치와 이유를 잘 설명해나가야한다.

 

데이터 팀을 구성하는 구성원들은 누구인가?

- Who's Who in A Data Team? Data Engineer / Data Analyst / Data Scientist

 

- Data Scientist(데이터 사이언티스트)

 > 알고리즘을 통한 고객 경험 향상(예측의 알고리즘 등)

 > 인내심, 실용성 있는 시각(박사학위 유리)

 > Skill

  1. 머신 러닝에 대한 이해와 경험

  2. 파이썬 / 스파크

  3. SQL / Hive

  4. R / SAS / Matlab(수학, 통계학)

 

- Data Analyst(데이터 분석가)

 > 데이터 사업 비즈니스 intelligence 담당

 > 주요 지표 정의 및 대시보드 생성

 > Skill

  1. SQL / Hive

  2. R / SAS / MATLAB(수학, 통계학)

  3. 비즈니스 도메인에 대한 강한 지식

 

- Data Engineer(데이터 엔지니어)

 > 대규모 DB 관리 : RedShift, BigQuery, SnowFlake

 > 데이터 파이프라인(ETL) 구축 및 관리

 > Skill

  1. Python / SQL / Airflow (주니어 데이터 엔지니어 필수 역량)

  2. Spark / Hadoop

  3. Docker / K8S

  4. Cloud

 

데이터 직군 로드맵

 

Structure of Data Organization, 데이터 팀의 조직구조는 어떨까?

 

중앙 집중형

- 데이터 팀간 지식 공유 및 협업 증가

- 도메인 지식 감소(산업)

- 데이터 팀 구성원의 경력에 도움

- 중앙에서 데이터를 쓰기에, 데이터 팀의 만족도가 높음.

 

분산 및 탈 집중형

 

- 데이터 과학자/분석가가 다른 팀에 unit으로 포함

- 각 unit에서 우선 순위, 업무 결정

- 데이터 업무를 맡는 사람들 공유, 협업 감소

- 산업에 대한 데이터 지식 증사

 

하이브리드형(가장 이상적인 구조)

 

- 데이터 과학자, 분석가의 우선순위 및 업무는 중앙팀과 각 외부팀이 일괄적으로 결정.

- 필요시 다른 unit으로 파견 후, 데이터팀으로 다시 복귀하는 구조

- 가장 이상적인 데이터팀의 구조