이 모듈에서는 데이터 엔지니어의 역할을 소개합니다. 데이터 소스와 싱크, 데이터 형식, Google Cloud의 스토리지 옵션, 메타데이터 관리, 그리고 Analytics Hub를 사용하여 조직 내외부의 데이터를 공유하는 방법과 같은 주요 개념을 다룹니다.

이 모듈에서는 Google Cloud에서의 데이터 복제 및 마이그레이션에 대한 개요를 제공합니다. 기본적인 아키텍처, 'gcloud' 명령줄 도구, Storage Transfer Service, Transfer Appliance, Datastream과 각각의 기능 및 사용 사례를 다룹니다.

이 모듈에서는 특히 BigQuery를 사용한 Google Cloud에서의 데이터 추출 및 로딩 프로세스를 중점적으로 다룹니다. 기본적인 추출 및 로딩 아키텍처, bq 명령줄 도구, BigQuery Data Transfer Service, 그리고 기존 추출-로드 패턴의 대안인 BigLake에 대한 내용을 다룹니다.

이 모듈에서는 Google Cloud에서의 ELT(추출, 로드, 변환) 프로세스에 대한 개요를 제공합니다. 기본적인 ELT 아키텍처, 일반적인 ELT 파이프라인 예시, SQL 스크립팅 및 예약을 위한 BigQuery 기능, 그리고 Dataform의 기능과 사용 사례에 대한 내용을 다룹니다.

이 모듈에서는 Google Cloud에서의 ETL(추출, 변환, 로드) 프로세스에 대한 개요를 제공합니다. 기본적인 ETL 아키텍처, GUI 도구, 일괄 및 스트리밍 데이터 처리 옵션(Dataproc, Dataproc Serverless), 데이터 파이프라인에서 Bigtable의 역할에 대한 내용을 다룹니다.

이 모듈에서는 파이프라인을 위한 Google Cloud의 자동화 패턴과 옵션을 중점적으로 다룹니다. Cloud Scheduler, Workflows, Cloud Composer, Cloud Run Functions, Eventarc와 같은 다양한 도구 및 서비스와 각각의 기능 및 자동화 사용 사례에 대한 내용을 다룹니다.

이 마지막 섹션에서는 본 과정에서 살펴본 내용을 복습하고 클라우드 학습 여정을 계속 진행할 다음 단계에 대해 설명합니다.