Scenario Lab場景原子 × 產業 = 應用
← 所有場景

資料管線

etl-pipeline

外部系統 → 轉換 → 落地本體的 ELT 拓撲

靈感: Airbyte, Fivetran, dbt, Airflow
同一場景 × 10 個產業上下文
餐飲連鎖
restaurant在組合器開啟 →
Pipeline Layer · dbt / Airflow / Fivetran
餐飲連鎖 資料管線
2 個來源 → 2 個目標 · 每 15 分鐘同步
● 運行中SLA 99.8%
Source (2)
外部 API
REST
資料庫 CDC
Debezium
Transform (dbt models)
  • stg_01
    格式正規化
    日期/時區/欄位命名
    ✓ OK
  • stg_02
    業務規則轉換
    對應到 訂單 本體
    ✓ OK
  • stg_03
    PII 遮蔽 / 加密
    符合合規規則
    ✓ OK
  • stg_04
    派生欄位
    計算 KPI 前置資料
    ✓ OK
-- models/fct_訂單.sql
SELECT * FROM {{ ref('stg_04_derived') }}
WHERE new IS NOT NULL
Sink (2)
原始資料
entity
核心實體
entity
最後執行: 2 分鐘前 · 處理 18,402 筆重跑看血緣 (lineage)查錯誤
診所醫療
clinic在組合器開啟 →
Pipeline Layer · dbt / Airflow / Fivetran
診所醫療 資料管線
4 個來源 → 5 個目標 · 每 15 分鐘同步
● 運行中SLA 99.8%
Source (4)
健保 VPN 上傳
SFTP + XML
EHR 匯入
HL7 FHIR R4
檢驗報告
HL7 v2.5
簡訊提醒
REST
Transform (dbt models)
  • stg_01
    格式正規化
    日期/時區/欄位命名
    ✓ OK
  • stg_02
    業務規則轉換
    對應到 掛號 本體
    ✓ OK
  • stg_03
    PII 遮蔽 / 加密
    符合合規規則
    ✓ OK
  • stg_04
    派生欄位
    計算 KPI 前置資料
    ✓ OK
-- models/fct_掛號.sql
SELECT * FROM {{ ref('stg_04_derived') }}
WHERE registered IS NOT NULL
Sink (5)
病患
party
就診
event
醫師
party
處方
asset
健保申報
event
最後執行: 2 分鐘前 · 處理 18,402 筆重跑看血緣 (lineage)查錯誤
房仲物件
realestate在組合器開啟 →
Pipeline Layer · dbt / Airflow / Fivetran
房仲物件 資料管線
2 個來源 → 2 個目標 · 每 15 分鐘同步
● 運行中SLA 99.8%
Source (2)
外部 API
REST
資料庫 CDC
Debezium
Transform (dbt models)
  • stg_01
    格式正規化
    日期/時區/欄位命名
    ✓ OK
  • stg_02
    業務規則轉換
    對應到 物件 本體
    ✓ OK
  • stg_03
    PII 遮蔽 / 加密
    符合合規規則
    ✓ OK
  • stg_04
    派生欄位
    計算 KPI 前置資料
    ✓ OK
-- models/fct_物件.sql
SELECT * FROM {{ ref('stg_04_derived') }}
WHERE listing IS NOT NULL
Sink (2)
原始資料
entity
核心實體
entity
最後執行: 2 分鐘前 · 處理 18,402 筆重跑看血緣 (lineage)查錯誤
B2B SaaS
saas在組合器開啟 →
Pipeline Layer · dbt / Airflow / Fivetran
B2B SaaS 資料管線
2 個來源 → 2 個目標 · 每 15 分鐘同步
● 運行中SLA 99.8%
Source (2)
外部 API
REST
資料庫 CDC
Debezium
Transform (dbt models)
  • stg_01
    格式正規化
    日期/時區/欄位命名
    ✓ OK
  • stg_02
    業務規則轉換
    對應到 工單 本體
    ✓ OK
  • stg_03
    PII 遮蔽 / 加密
    符合合規規則
    ✓ OK
  • stg_04
    派生欄位
    計算 KPI 前置資料
    ✓ OK
-- models/fct_工單.sql
SELECT * FROM {{ ref('stg_04_derived') }}
WHERE open IS NOT NULL
Sink (2)
原始資料
entity
核心實體
entity
最後執行: 2 分鐘前 · 處理 18,402 筆重跑看血緣 (lineage)查錯誤
電商品牌
ecommerce在組合器開啟 →
Pipeline Layer · dbt / Airflow / Fivetran
電商品牌 資料管線
2 個來源 → 2 個目標 · 每 15 分鐘同步
● 運行中SLA 99.8%
Source (2)
外部 API
REST
資料庫 CDC
Debezium
Transform (dbt models)
  • stg_01
    格式正規化
    日期/時區/欄位命名
    ✓ OK
  • stg_02
    業務規則轉換
    對應到 商品 本體
    ✓ OK
  • stg_03
    PII 遮蔽 / 加密
    符合合規規則
    ✓ OK
  • stg_04
    派生欄位
    計算 KPI 前置資料
    ✓ OK
-- models/fct_商品.sql
SELECT * FROM {{ ref('stg_04_derived') }}
WHERE draft IS NOT NULL
Sink (2)
原始資料
entity
核心實體
entity
最後執行: 2 分鐘前 · 處理 18,402 筆重跑看血緣 (lineage)查錯誤
補習教育
education在組合器開啟 →
Pipeline Layer · dbt / Airflow / Fivetran
補習教育 資料管線
2 個來源 → 2 個目標 · 每 15 分鐘同步
● 運行中SLA 99.8%
Source (2)
外部 API
REST
資料庫 CDC
Debezium
Transform (dbt models)
  • stg_01
    格式正規化
    日期/時區/欄位命名
    ✓ OK
  • stg_02
    業務規則轉換
    對應到 課程 本體
    ✓ OK
  • stg_03
    PII 遮蔽 / 加密
    符合合規規則
    ✓ OK
  • stg_04
    派生欄位
    計算 KPI 前置資料
    ✓ OK
-- models/fct_課程.sql
SELECT * FROM {{ ref('stg_04_derived') }}
WHERE enrolled IS NOT NULL
Sink (2)
原始資料
entity
核心實體
entity
最後執行: 2 分鐘前 · 處理 18,402 筆重跑看血緣 (lineage)查錯誤
物流配送
logistics在組合器開啟 →
Pipeline Layer · dbt / Airflow / Fivetran
物流配送 資料管線
2 個來源 → 2 個目標 · 每 15 分鐘同步
● 運行中SLA 99.8%
Source (2)
外部 API
REST
資料庫 CDC
Debezium
Transform (dbt models)
  • stg_01
    格式正規化
    日期/時區/欄位命名
    ✓ OK
  • stg_02
    業務規則轉換
    對應到 包裹 本體
    ✓ OK
  • stg_03
    PII 遮蔽 / 加密
    符合合規規則
    ✓ OK
  • stg_04
    派生欄位
    計算 KPI 前置資料
    ✓ OK
-- models/fct_包裹.sql
SELECT * FROM {{ ref('stg_04_derived') }}
WHERE picked IS NOT NULL
Sink (2)
原始資料
entity
核心實體
entity
最後執行: 2 分鐘前 · 處理 18,402 筆重跑看血緣 (lineage)查錯誤
健身工作室
fitness在組合器開啟 →
Pipeline Layer · dbt / Airflow / Fivetran
健身工作室 資料管線
2 個來源 → 2 個目標 · 每 15 分鐘同步
● 運行中SLA 99.8%
Source (2)
外部 API
REST
資料庫 CDC
Debezium
Transform (dbt models)
  • stg_01
    格式正規化
    日期/時區/欄位命名
    ✓ OK
  • stg_02
    業務規則轉換
    對應到 課程 本體
    ✓ OK
  • stg_03
    PII 遮蔽 / 加密
    符合合規規則
    ✓ OK
  • stg_04
    派生欄位
    計算 KPI 前置資料
    ✓ OK
-- models/fct_課程.sql
SELECT * FROM {{ ref('stg_04_derived') }}
WHERE trial IS NOT NULL
Sink (2)
原始資料
entity
核心實體
entity
最後執行: 2 分鐘前 · 處理 18,402 筆重跑看血緣 (lineage)查錯誤
數位銀行
bank在組合器開啟 →
Pipeline Layer · dbt / Airflow / Fivetran
數位銀行 資料管線
4 個來源 → 5 個目標 · 每 15 分鐘同步
● 運行中SLA 99.8%
Source (4)
核心系統
ISO 8583
SWIFT 匯款
MT / ISO 20022
聯徵中心
REST
身份驗證
OIDC
Transform (dbt models)
  • stg_01
    格式正規化
    日期/時區/欄位命名
    ✓ OK
  • stg_02
    業務規則轉換
    對應到 交易 本體
    ✓ OK
  • stg_03
    PII 遮蔽 / 加密
    符合合規規則
    ✓ OK
  • stg_04
    派生欄位
    計算 KPI 前置資料
    ✓ OK
-- models/fct_交易.sql
SELECT * FROM {{ ref('stg_04_derived') }}
WHERE pending IS NOT NULL
Sink (5)
帳戶
asset
客戶
party
交易
event
風險告警
event
對手方
party
最後執行: 2 分鐘前 · 處理 18,402 筆重跑看血緣 (lineage)查錯誤
飯店訂房
hospitality在組合器開啟 →
Pipeline Layer · dbt / Airflow / Fivetran
飯店訂房 資料管線
2 個來源 → 2 個目標 · 每 15 分鐘同步
● 運行中SLA 99.8%
Source (2)
外部 API
REST
資料庫 CDC
Debezium
Transform (dbt models)
  • stg_01
    格式正規化
    日期/時區/欄位命名
    ✓ OK
  • stg_02
    業務規則轉換
    對應到 訂房 本體
    ✓ OK
  • stg_03
    PII 遮蔽 / 加密
    符合合規規則
    ✓ OK
  • stg_04
    派生欄位
    計算 KPI 前置資料
    ✓ OK
-- models/fct_訂房.sql
SELECT * FROM {{ ref('stg_04_derived') }}
WHERE booked IS NOT NULL
Sink (2)
原始資料
entity
核心實體
entity
最後執行: 2 分鐘前 · 處理 18,402 筆重跑看血緣 (lineage)查錯誤