イベントレポート

データ可視化

第22回では、「5社のデータエンジニアが振り返る」と題して、データエンジニアリングやデータ分析基盤に関する「良

TROCCOの導入事例、アップデート情報、eBook、ホワイトペーパー、イベント・セミナー、データ基盤構築・データ分析のお役立ち情報の更新

基調講演「ワークフローオーケストレーション入門」

ワークフローオーケストレーションとは

ワークフローオーケストレーションはトレンドになりつつある

ワークフローオーケストレーションツールがトレンドになりつつある背景

リレーショナルデータベース時代

データウェアハウス・データ統合時代

ワークフローツール第2世代の登場

主要ワークフローツールの変遷まとめ

現代のワークフローオーケストレーションの役割

ワークフローオーケストレーションツールの機能

なぜDAGがワークフローツールに普及したか

関数の引数を通じてアセット間の依存関係を表現できます。たとえば、あるデータセットを使用してロジスティック回帰で予測を行い、その正確さを出力できます。」

ワークフローエンジンについて、はじめに考えること

6つのワークフローツールの特徴比較

Digdag・Argo・Step Functionのおすすめユーザー

Airflow・Prefect・Dagsterのどれが使いやすいか

LT1「データオーケストレーションツールDagsterの紹介」

データ業界は盛り上がっている

データエンジニアリングにも注目が集まっている

データエンジニアリングの進歩

データエンジニアリングの課題

Data Assetを統合するプラットフォーム

Dagsterはデータプラットフォームである

Dagsterの学習コンテンツ・コミュニティ

Dagsterの機能①「LaunchPadとGraph」

Dagsterの機能②「SensorとResource」

LT2「dbtをDagster Cloudでオーケストレーションする」

dbtをオーケストレーションする技術の選定ポイント5つ

モデル単位のオーケストレーション

Dagster Cloudは全ての観点において優れていた

Pythonコードで書ければ何でもできる柔軟さがある

強力な開発者体験：ローカル開発とブランチデプロイ環境構築

過去のData Engineering Studyのアーカイブ動画