Ugrás a tartalomra

Kezdőlap/Adatátalakítás és ETL

05 / Adattranszformáció és ETL

Adatok átalakítása.
Formátumok egységesítése.

Fejlesszen ismételhető adattranszformációkat és ETL-pipeline-okat. Az adatokat támogatott forrásokból olvassuk, célmodellhez rendeljük, ellenőrizzük, majd betöltjük a szükséges rendszerbe.

Beszéljük meg a projektetA projekt terjedelme
ETLJSON / XML / CSVValidálás
INTEGRÁCIÓS SÉMA / PÉLDAFORRÁS / TRANSZFORMÁCIÓ / CÉL
FORRÁS / JSON

Eltérő formátumok.

{
  "customer_id": "001042",
  "country": "at",
  "total": "21,90"
}
LEKÉPEZÉS / NORMALIZÁLÁS
TRANSZFORMÁCIÓ / SZABÁLYOK

customer_id→externalId:string
country→uppercase()
total→decimal(de-AT)
VALIDÁLÁS / CÉLSÉMA
CÉL / JSON

Ellenőrzött adattípusok.

{
  "externalId": "001042",
  "countryCode": "AT",
  "total": 21.9
}

A kezdő nullák megmaradnak. A számok és kódok a célsémát követik.

Kiinduló helyzet

A formátum ismert. A jelentés gyakran nem.

Két CSV-fájl ugyanazt a mezőt eltérően írhatja le. A dátumok többértelműek, a tizedesjel országfüggő, és egy termékazonosító kezdő nullái lényegesek lehetnek. Meghatározzuk a mezők jelentését, és dokumentáljuk az átalakítást.

Felhasználási területek

Formátumok átvezetése közös modellbe.

Import és export automatizálása

Váltsa ki az ismétlődő kézi konverziót CSV-, XML-, JSON- vagy támogatott adatbázis-kivonatokhoz készített adatpipeline-nal.

Reporting és konszolidáció

Vezessen át több rendszerből származó adatokat egységes reportingmodellbe dokumentált eredettel és frissítési szabályokkal.

Partnerspecifikus leképezés

Alakítsa át belső rekordjait szállítói, piactéri vagy platformspecifikus sémára. Az ellenőrzés a kézbesítés előtt történik.

A projekt terjedelme

Leképezés.
Ellenőrzés. Célspecifikáció.

A terjedelem a rendszereitől és a kívánt eredménytől függ. Ezeket a pontokat Önnel egyeztetjük.

A hibás adatokat láthatóan kell kezelni.

Az érvénytelen rekordokat egyeztetett szabályok szerint elkülönítjük, javítjuk vagy elutasítjuk. A hiányzó adatokat nem pótoljuk észrevétlenül. A bizonytalanságok felismerhetők maradnak és szakmailag tisztázhatók.

  • Forráselemzés és verziózott célséma
  • Adattípusok, azonosítók, dátumok, egységek és országformátumok leképezése
  • Kötelezőmező-ellenőrzés és elutasított rekordok szabályai
  • Ismételhető kinyerési, transzformációs és betöltési lépések
  • Futtatási naplók és követhető adateredet
  • Reprezentatív tesztadatok és későbbi változások átvételi feltételei

A szolgáltatás terjedelmét és a felelősségeket projektenként egyeztetjük. Módszer: átvétel és üzemeltetés

Műszaki kérdések

Adattípusok és leképezési szabályok.

AdatmigrációAdatszinkronizálás
Mi a különbség az ETL és az adatmigráció között?
Az ETL kinyerést, transzformációt és betöltést jelent, és rendszeresen is futtatható. A migráció új rendszerbe viszi át az adatokat, jellemzően átállással. Ehhez ETL-pipeline is használható.
Konvertálnak CSV-, XML- és JSON-adatokat?
Igen, ha a forrás- és célséma meghatározott. Fontos a jelentés, adattípusok és kapcsolatok megőrzése. A fájlkiterjesztés önmagában nem ír le teljes konverziós szabályt.
Hogyan kezelik az érvénytelen rekordokat?
Ellenőrzési szabályokat és kivételkezelési utat határozunk meg. Az elutasított rekordok a javításhoz szükséges kontextussal láthatók maradnak. A projektben egyeztetjük, hogy egy hiba az egész futást állítsa le, vagy külön kezelhető legyen.
Módosíthatók később a leképezések?
A leképezéseket verziózzuk és reprezentatív tesztadatokkal ellenőrizzük. Így a változások közzététel előtt validálhatók a meglévő célsémával szemben.

A következő kapcsolata

Mit végezzenek el rendszerei
közösen?

Ön hozza a feladatot. Mi tisztázzuk a kapcsolatokat.

Beszéljük meg a projektet

Konkrét integrációs feladatok

Kapcsolódó szakmai témák.

Adatfolyamatok

CSV-import automatizálása

A fájl naponta megérkezik. Valaki javítja az oszlopokat, feltölti, majd ellenőrzi a hibaüzeneteket. A DataSource ezt az ismétlődő kézi feladatot dokumentált importtá alakítja, egyértelmű szabályokkal a hiányos és hibás adatokra.

Adatfolyamatok

JSON / XML adatátalakítás

Az adatok műszakilag olvashatók, mégis elutasítják őket. A mezőnevek, típusok vagy struktúrák nem illenek a célalkalmazáshoz. Olyan követhető leképezést fejlesztünk, amely az üres értékeket, különleges eseteket és forrásformátum-változásokat is kezeli.

Adatfolyamatok

Termékadat-folyamatok automatizálása

Az ERP törzsadatokat, a PIM szövegeket, a szállító műszaki jellemzőket ad. A kézi listák csak átmenetileg kapcsolják össze őket. Meghatározott adatfolyamot hozunk létre a vezető mezőtől az ellenőrzött csatornaexportig.