Apache Beam의 주요 개념과 이를 적용하여 자체 데이터 처리 파이프라인을 작성하는 방법을 복습합니다.

이 모듈에서는 Dataflow를 사용해 스트리밍 데이터 처리를 수행하는 방법을 살펴봅니다. 이를 위해 여러분이 알아야 할 세 가지 핵심 개념은 다음과 같습니다. 윈도우에서 데이터를 그룹화하는 방법, 윈도우가 결과를 생성할 준비가 되었는지를 판단하는 데 있어 워터마크의 중요성, 윈도우가 결과를 출력하는 시점 및 횟수를 제어하는 방법입니다.

이 모듈에서는 Dataflow에서 소스와 싱크를 구성하는 요소에 대해 알아봅니다. TextIO, FileIO, BigQueryIO, PubsubIO, KafKaIO, BigtableIO, Avro IO, Splittable DoFn의 몇 가지 예시를 다루고 각 I/O와 관련된 유용한 기능 몇 가지도 알려줄 것입니다.

이 모듈에서는 개발자가 Beam 파이프라인에서 정형 데이터를 표현할 때 사용할 수 있는 방법인 스키마를 소개합니다.

이 모듈에서는 DoFn에서 스테이트풀(Stateful) 변환을 구현하는 데 사용할 수 있는 두 가지 강력한 기능인 상태와 타이머에 관해 다룹니다.

이 모듈에서는 Dataflow 파이프라인의 성능을 극대화하는 권장사항을 살펴보고 일반적인 패턴을 복습합니다.

이 모듈에서는 Beam에서 비즈니스 로직을 표현하기 위한 두 가지 새로운 API인 SQL과 DataFrame을 소개합니다.

이 모듈에서는 Python 개발자가 Beam SDK에 온보딩하고 Jupyter 노트북 환경에서 파이프라인을 반복적으로 개발할 수 있는 인터페이스인 Beam 노트북을 다룹니다.

이 모듈에서는 과정 내용을 요약합니다.