Adatfolyamatok / 05
CSV-importok automatizálása. Célzott hibakezelés.
A fájl naponta megérkezik. Valaki javítja az oszlopokat, feltölti, majd ellenőrzi a hibaüzeneteket. A DataSource ezt az ismétlődő kézi feladatot dokumentált importtá alakítja, egyértelmű szabályokkal a hiányos és hibás adatokra.
Kiinduló helyzet
A formátum egyszerű. Az adatszabályok gyakran nem azok.
Egy beszállító pontosvesszővel elválasztott és német tizedesvesszőt használó termékadatokat küld. A cikkszámok kezdő nullákat tartalmaznak; a leírásokban sortörések lehetnek. Az egyszerű szövegsoronkénti feldolgozás károsítja ezeket az adatokat.
Ellenőrizzük a tényleges fájlkontraktust: encoding, idézőjelezés, oszlopnevek, kötelező értékek, dátumok és a teljes fájl jelentése. Az átvétel SFTP-n vagy védett feltöltésen keresztül történhet.
A DataSource feladatai
Fájlátvétel. Előkészítés. Átvitel.
Fájlátvétel
Kész fájlok megbízható felismerése, például egyeztetett atomi átnevezés vagy kísérőjelzés alapján. A még folyamatban lévő átvitel nem importálható.
Előkészítés
Beolvasás CSV-parserrel, mezők típushelyes normalizálása és üzleti kulcsok ellenőrzése. Érthető hibaüzenetek fájl-, sor- és rekordhivatkozással.
Átvitel
Staging, előnézet és célimport megvalósítása az adott rendszerhez illeszkedően. Fájlhash, import-ID és visszaigazolt rekordok akadályozzák meg a véletlen többszörös átvételt.
Műszaki forgatókönyv / szemléltető példa
Kezdő nullák megőrzése, decimális értékek normalizálása.
Érvényes sor szemléltető mappingje. A cikkszám string marad. Az érvénytelen árakat nem állítjuk csendben nullára, hanem javítható hibaként kezeljük.
Példaadatok és javasolt szabályok. A konkrét interfészeket és üzleti szabályokat a projektjéhez ellenőrizzük.
artikel;preis;land
004218;49,90;at
→ {
"sku": "004218",
"price": "49.90",
"countryCode": "AT"
}Hibakezelés, biztonság és üzemeltetés
Részleges import: ellenőrzés és üzemeltetés.
Részleges import
Előre eldöntjük, hogy egy hibás sor leállítja-e a teljes importot. Az egymástól függő rekordok közös jóváhagyást igényelhetnek.
Ismétlés
Fájlverzió és rekordkulcs elkülönítése. A javított fájl feldolgozható legyen a már átvett műveletek újbóli kiváltása nélkül.
Üzemeltetés
Várt szállítási időpontok, hiányzó fájlok és megváltozott oszlopok figyelése. Hozzáférési adatok és érzékeny soradatok nem kerülhetnek általános hibajelentésekbe.
Szakmai kérdések
Részletek, amelyek a megvalósítás előtt számítanak.
CSV · SFTP · Encoding · Mapping · Validálás · Import
Ugyanígy feldolgozható egy Excel-fájl?
Az XLSX más formátum, saját típus- és képletszabályokkal. Külön bemenetként figyelembe vehetjük; nem egyszerűen CSV-re átnevezve kezeljük.
Mi történik új oszlopok esetén?
A fájlkontraktus határozza meg, hogy a további oszlopok elfogadhatók-e. A hiányzó kötelező oszlopok vagy megváltozott jelentések célzott ellenőrzést igényelnek.
A hibátlan soroknak mindig várniuk kell?
Ez az üzleti konzisztenciától függ. Független termékeknél megfelelő lehet a részleges import; egy összetartozó megrendelésnél esetleg nem.
A műszaki egyeztetéshez
A konkrét folyamatból indulunk ki.
Kérjük, készítsen elő egy anonimizált eredeti fájlt, az aktuális importútmutatót, a célrendszert és jellemző hibaüzeneteket. Különösen hasznosak az ékezetes karaktereket, nullértékeket és kezdő nullákat tartalmazó példák.
Az első beszélgetésen tisztázzuk az elérhető hozzáféréseket, az adatfelelősséget és egy körülhatárolt első adatfolyamot. Ezután egyeztetjük a terjedelmet, felelősségi köröket és feltételeket.
A kezdéshez anonimizált példák elegendők. Az első megkeresésben kérjük, ne küldjön jelszavakat, tokeneket vagy személyes adatokat tartalmazó éles adatokat.
Kapcsolódó feladatok
A következő integráció összefüggései.
JSON / XML adatátalakítás
Az adatok műszakilag olvashatók, mégis elutasítják őket. A mezőnevek, típusok vagy struktúrák nem illenek a célalkalmazáshoz. Olyan követhető leképezést fejlesztünk, amely az üres értékeket, különleges eseteket és forrásformátum-változásokat is kezeli.
Termékadat-folyamatok automatizálása
Az ERP törzsadatokat, a PIM szövegeket, a szállító műszaki jellemzőket ad. A kézi listák csak átmenetileg kapcsolják össze őket. Meghatározott adatfolyamot hozunk létre a vezető mezőtől az ellenőrzött csatornaexportig.
SQL-adatbázisok összekapcsolása
Reporting, portálok vagy szakalkalmazások más adatbázisból igényelnek adatokat. Olyan kapcsolatot tervezünk, amely figyelembe veszi a hozzáférési jogokat, konzisztens adatállapotokat és az érintett alkalmazások szabályait.