Podatkovno inženjerstvo

Osnovni podaci
Detaljne informacije
Nastava
Termini konzultacija

Šifra:	274976
ECTS:	5.0
Nositelji:	doc. dr. sc. Marko Horvat
Izvođači:	Predavanja: doc. dr. sc. Marko Horvat Auditorne vježbe: Helena Marciuš , mag. inf. et math.
Prijava ispita:	Studomat

Opterećenje:

1. komponenta

Vrsta nastave Ukupno

Predavanja 15

Auditorne vježbe 30

Opis predmeta:

CILJ KOLEGIJA: Studente osposobiti za:
- Rad s alatima za razvoj kompleksnih data pipeline-a
- Razvoj agregacijskih frameworka s obzirom na razinu apstrakcije prema korisniku sustava
- Razumijevanje teorije tokova podataka te implementaciju sustava za obradu toka podatak u realnom vremenu
- Konfiguraciju relacijskih i nerelacijskih baza podataka za skalabilnu pohranu i čitanje podataka
- Objektno orijentiranu implementaciju naprednih komponenata za pretraživanje relacijskih i nerelacijskih baza podataka
- Dizajniranje i implementaciju podatkovnih rješenja u oblaku

NASTAVNI SADRŽAJI:
- Razvoj data pipelinea i agregacijskih frameworka. Transformacije. Vrste data pipeline sustava. State machine u data pipelineu. Workflow Monitoring. Razine korištenja sustava za procesiranje. Sadržaj pomoćnih paketa. Razine paralelizacije u obradi podataka.
- Obrada tokova podataka. Motivacija i osnove tokova podataka. Sustavi poruka. Operacije s prozorima. Okidači i watermarkovi. Sustavi za obradu tokova podataka. Kappa, Lambda i hibridne arhitekture.
- Pohrana analitičkih rezultata. Vrste agregata i rezultata analiza. Optimizacije pri pohrani velike količine podataka. Sustavi za pretraživanje podataka. Sučelja za generiranje slika i izvještaja.
- Podatkovno inženjerstvo u oblaku. Osnove inženjerstva u oblaku. Infrastruktura u oblaku. Sigurnost u oblaku. Implementacija sustava za obradu podatak u oblaku.

Literatura:

Streaming systems: the what, where, when, and how of large-scale data processing, http://www.streamingbook.net, Akidau, T., Chernyak, S., & Lax, R., O'Reilly Media, Inc., 2018.
Designing data-intensive applications: The big ideas behind reliable, scalable, and maintainable systems, https://dataintensive.net/, Kleppmann, M., O'Reilly Media, Inc., 2017.
Big Data, Cloud Computing, and Data Science Engineering (Vol. 844), https://www.barnesandnoble.com/w/big-data-cloud-computing-and-data-science-engineering-roger-lee/1133107543, Lee, R. (Ed.), Springer, 2019.
CS 591 K1: Data Stream Processing and Analytics, https://vasia.github.io/dspa21/index.html, Boston University, 2021.
CSE2520: Big Data Processing, https://burcuku.github.io/cse2520-bigdata/, TU Delft, 2022.

Preduvjeti za:

Upis predmeta :
Položen : Baze podataka

3. semestar Ne predaje se

Izborni predmet 4, 5, 6 - Redovni Studij - Financijska i poslovna matematika

4. semestar

Izborni predmet 4, 5, 6 - Redovni Studij - Financijska i poslovna matematika

Termini konzultacija:

doc. dr. sc. Marko Horvat:
Srijeda, 10-12 (obavezna najava mejlom)
Lokacija: A306

Prijave za upis kolegija Podatkovno inženjerstvo

Želite li...

...naučiti više o pohranjivanju, obradi i analizi velikih količina podataka te podatkovnom inženjerstvu u oblaku...

...koristeći suvremene tehnologije poput Dockera, Pythona s bibliotekom pandas i Jupyter bilježnicama,

Microsoft Azurea, Prefecta, PostgreSQLa, TimescaleDBa, Apache Superseta i Sparka...

...na stvarnim primjerima iz svakodnevne prakse stručnjaka iz tvrtke AVL?

Ako je tako, upišite izborni kolegij Podatkovno inženjerstvo, namijenjem studentima diplomskih studija, koji je razvijen u sklopu zajedničkog istraživačko-stručnog projekta AVLa i PMFa te se polaže preko praktičnih vježbi.

Prijaviti se možete na mail helena.marcius@math.hr do 26.2. (popis studenata koji su ostvarili pravo na upis bit će objavljen 27.2.). Naslov maila treba biti "Podatkovno inženjerstvo", a u mailu treba pisati JMBAG, ime, prezime, studij i godina studija.

Kvota je 30 studenata.

Prvo predavanje održat će se u tjednu 3.-7.3.2025. godine.

Želite li...

...naučiti više o pohranjivanju, obradi i analizi velikih količina podataka te podatkovnom inženjerstvu u oblaku...

...koristeći suvremene tehnologije poput Dockera, Pythona s bibliotekom pandas i Jupyter bilježnicama,

Microsoft Azurea, Prefecta, PostgreSQLa, TimescaleDBa, Apache Superseta i Sparka...

...na stvarnim primjerima iz svakodnevne prakse stručnjaka iz tvrtke AVL?

Kvota je 30 studenata.

Prvo predavanje održat će se u tjednu 3.-7.3.2025. godine.

Želite li...

...naučiti više o pohranjivanju, obradi i analizi velikih količina podataka te podatkovnom inženjerstvu u oblaku...

...koristeći suvremene tehnologije poput Dockera, Pythona s bibliotekom pandas i Jupyter bilježnicama,

Microsoft Azurea, Prefecta, PostgreSQLa, TimescaleDBa, Apache Superseta i Sparka...

...na stvarnim primjerima iz svakodnevne prakse stručnjaka iz tvrtke AVL?

Kvota je 30 studenata.

Prvo predavanje održat će se u tjednu 3.-7.3.2025. godine.

O AVLu

Tvrtka AVL-AST d.o.o. osnovana je 1996. godine sa sjedištem u Zagrebu kao članica AVL List GmbH. AVL-AST kao strateški partner kreira i implementira softverska rješenja za simulaciju, testiranje i optimizaciju svih vrsta pogonskih sustava za putnička i gospodarska vozila, te se sve više okreće proizvodnji softvera i elektrifikaciji.

Značajan smo partner velikom broju proizvođača automobila diljem svijeta koji zbog strogih ekoloških standarda i smanjenja potrošnje goriva moraju kontinuirano poboljšavati svoje proizvode. Uz stalno rastuću složenost modernih vozila i velike količine podataka koji su sada dostupni, prednjačimo u razvoju povezanih alata za upravljanje i analizu podataka, smanjenje troškova i ubrzavanje vremena izlaska na tržište. Naša IT rješenja, digitalni alati i rješenja u oblaku pomažu klijentima da postave ciljeve i usklade se s novim, globalnim trendovima. Prateći potrebe naših zaposlenika, gradimo poticajnu radnu klimu i kontinuirano radimo na poboljšanjima.

19. 2. 2025.

Autor: Helena Marciuš

Popis obavijesti

Podatkovno inženjerstvo

Repozitorij

Anketa

Podatkovno inženjerstvo

1. komponenta

Prijave za upis kolegija Podatkovno inženjerstvo