razvan.bocu.ro / forum.bocu.ro

[ami95]

Salutări stimați mebrii ai Acestui minunat Forum,

Aș avea o întrebare legată de Data Engineering. Este mai mult vorba despre o aplicație practică.
Să presupunem că avem o fabrică de ceva, cu trei mari baze de date.
Fiecare Bază de Date, să presupunem că ar corespunde câte unui nivel din piramida automatizării:
1. ERP/SAP «enterprise»
2. MES «management»
3. DCS/PLC «control»

Am vrea să construim un sistem prin intermediul căruia să putem adresa Query-uri tuturor celor trei baze de date
și să le livrăm mai departe la diverși consumatori, spre exemplu, aplicații ce generează rapoarte sau expoziții grafice.
Aceste date nu trebuiesc neapărat salvate, sau dacă da, cel mult vor fi salvate pe un server ce se va «autoșterge» ciclic
fie la fie la un «trigger» anume, fie la un interval de timp definit.

Există conceptele de ETL, ELT, Data Pipeline sau Data Virtualization cu care am încercat să mă fac familiar.
Am în vizor și un set de tehnologii care, cred eu, sunt relevante pentru această sarcină: Apache Kafka/NiFi/Spark,
Snowflake, AspenTech Immation sau Talend.

P.S. Atașez acestui post o imagine cu o schemă grafică a sarcinii pe care vreau să o îndeplinesc.
P.P.S. Iertați-mi vă rog eventualele ambiguități sau greșeli în exprimare. Ele se datorează nefamiliarității mele cu acest subiect.
P.P.P.S. Nu îmi vine să cred cât de des îmi reproșez, cu fiecare an care trece chiar mai frecvent «De ce nu am fost mai atent la ore în Facultate»