מתי להשתמש
"Fivetran", "Airbyte", "ELT", "Data pipeline", "Connector", "Incremental sync", "MAR", "Snowflake sync".
הוראות עבודה
1. מה זה ELT (Extract-Load-Transform)
זרם מודרני: Extract מ-source → Load raw ל-warehouse (Snowflake/BigQuery/Redshift) → Transform ב-warehouse (dbt). שונה מ-ETL הישן (transform לפני load).
Fivetran ו-Airbyte = ה-EL ב-ELT.
2. Fivetran — Managed ELT
חוזקות
- 500+ connectors managed.
- Auto schema migration — סכמת source משתנה? Fivetran מתאים אוטומטית ב-warehouse.
- Reliability — uptime 99.9%+, alerts, retry logic.
- Setup: 15 דק' לconnector חדש.
חולשות
- יקר — pay per Monthly Active Rows (MAR).
- Less control — black-box.
- Not all sources — long-tail SaaS לפעמים חסר.
3. Airbyte — Open Source ELT
חוזקות
- Open source (free self-hosted).
- 400+ connectors (גדל מהר).
- Custom connectors — Airbyte CDK בPython.
- Cloud option — Airbyte Cloud אם לא רוצה self-host.
חולשות
- Self-hosted = ops burden — DevOps team נדרש.
- Less polish — schema migration פחות smooth.
- Newer — חלק מ-connectors יציבים פחות.
4. Pricing 2026 — Fivetran
מודל MAR (Monthly Active Rows) — מספר שורות unique שמשתנות בחודש.
| Tier | Price/Month | MAR included |
|---|---|---|
| Free | $0 | 500K MAR |
| Starter | $120 | 1M MAR |
| Standard | $560 | 5M MAR |
| Enterprise | $4K+ | 25M+ MAR |
דוגמה ישראלית: SaaS מסנכרן Salesforce + Stripe + HubSpot ל-Snowflake. ~3M MAR = $400-700/month.
5. Pricing 2026 — Airbyte
Self-Hosted
- $0 software + infra costs.
- VM + storage: ~$200-500/month for typical pipeline.
- DevOps time: 5-10 hours/month maintenance.
Airbyte Cloud
- Credit-based: $2.50 per credit.
- Typical pipeline: $100-500/month.
- Free tier: 0.5 credits ($1.25 free).
6. השוואה מהירה
| Feature | Fivetran | Airbyte Cloud | Airbyte Self-Hosted |
|---|---|---|---|
| Connectors | 500+ managed | 400+ | 400+ |
| Schema mgmt | ★★★★★ | ★★★ | ★★★ |
| Custom conn | Limited | ★★★★ (CDK) | ★★★★★ |
| Cost (small) | $$$ | $$ | $ |
| Cost (large) | $$$$$ | $$$ | $$ |
| Ops burden | None | None | High |
| Support | Premium | Standard | Community |
7. Connectors — מה לבדוק
לפני בחירה — checklist
- Source זמין? (Salesforce, HubSpot, Stripe, MySQL, MongoDB)
- Destination זמין? (Snowflake, BigQuery, Redshift, Postgres)
- Incremental sync תומך? (לא full table כל פעם)
- CDC (Change Data Capture)? (לDBs)
- Schema changes auto?
- Sync frequency: hourly/15min/5min?
8. Incremental Sync — חיוני
- Full sync = הורדת כל הטבלה כל פעם → יקר ואיטי.
- Incremental = רק שורות שהשתנו → חוסך 90%+.
- CDC (binlog/WAL) = הקשבה ל-DB log → real-time.
Fivetran מכוון אוטומטית. Airbyte דורש configuration.
9. Snowflake / BigQuery — Destination Cost
זכור: Fivetran/Airbyte = pipeline cost. אבל ה-warehouse עולה גם:
Snowflake
- $2-4/credit (compute).
- 1TB storage = $23/m.
- Typical mid-market: $1K-5K/month.
BigQuery
- $5/TB queried (on-demand) או $2,000/m flat (Editions).
- 1TB storage = $20/m.
תמיד תכלול warehouse cost ב-TCO.
10. Israeli Use Cases
Use Case 1 — SaaS Israeli Series B
- Sources: Salesforce + HubSpot + Stripe + Postgres.
- Destination: Snowflake.
- Volume: 5M rows/m.
- Recommendation: Fivetran ($560/m) — peace of mind.
Use Case 2 — Israeli e-commerce, cost-sensitive
- Sources: Shopify + Klaviyo + Google Ads.
- Destination: BigQuery.
- Volume: 10M rows/m.
- Recommendation: Airbyte Cloud ($300-500/m) — savings.
Use Case 3 — Israeli enterprise, on-prem data
- Sources: SAP + Oracle on-prem + Salesforce.
- Destination: Snowflake (cloud).
- Recommendation: Fivetran (HVR for CDC) או Airbyte Self-Hosted.
11. dbt — Transform Layer
אחרי ELT, השלב הבא = transform ב-warehouse:
- dbt Cloud: $100/dev/m (Team), $300/dev/m (Enterprise).
- dbt Core: free.
- בונה models ב-SQL, version controlled, tested.
Stack מודרני: Fivetran/Airbyte → Snowflake → dbt → Looker/Tableau.
12. דגשים — Setup Best Practices
- Stage layer — raw schemas (
raw_salesforce). - Marts layer — clean models (
mart_revenue). - Naming convention — consistent.
- Monitoring — Fivetran built-in alerts; Airbyte דרוש Slack webhook.
- Costs — בדוק MAR שבועית ב-Fivetran.
קלט נדרש
| פריט | תיאור |
|---|---|
| Sources | רשימת מערכות |
| Destination | warehouse |
| Volume | rows/month estimated |
| Budget | $/m |
| DevOps capacity | yes/no |
פלט צפוי
| רכיב | תיאור |
|---|---|
| Tool | Fivetran / Airbyte Cloud / Self-hosted |
| Connectors | רשימה |
| MAR / credits | estimate |
| Total cost | $ pipeline + warehouse |
| Architecture | diagram |
כללי עבודה
- פלט בעברית, מונחים מקצועיים באנגלית
- מטבע: $ + ₪
- pricing 2026 + cost transparency
- תמיד תזכיר warehouse cost
דגלים אדומים
- 🚨 MAR מתפוצץ — sync table עם 100M rows שלא צריך → $$$.
- 🚨 No DevOps + Self-hosted Airbyte — תקרסו.
- 🚨 Full sync במקום incremental — חוסך 90% עלות.
- ⚠️ Custom connector בלי תחזוקה — schema changes ישברו.
הערות חשובות
- Fivetran = standard ל-mid-market+ scale.
- Airbyte Cloud = good middle ground.
- Self-hosted Airbyte = רק אם DevOps team חזק.
- Stitch (Talend) — alternative ישנה, פחות מומלצת ב-2026.
- Hevo / Rivery — ישראלי! Rivery נרכש ע"י Boomi (2024). בדוק תחרות.
פרומפט לדוגמה
SaaS ישראלי, צריך Salesforce+HubSpot ל-Snowflake. Fivetran או Airbyte?
MAR שלי 20M, Fivetran עולה $4K/m. איך לחתוך?
Custom connector ל-API פנימי. Airbyte CDK?
© 2026 Automation Expert Pro | גרסה 1.1.0