Data Engineer

Data Engineer je odgovoran/-a za razvoj i održavanje arhitekture podataka kroz kreiranje stabilnih, brzih i skalabilnih data pipeline-ova i „proizvodnju” tačnih podataka, spremnih za dalju obradu. Primarna uloga mu/joj je dizajniranje i implementacija infrastrukture podataka koja beleži, obrađuje i skladišti ogromne količine podataka vezanih za igrače koje generišu video-igre. Blisko sarađuje sa developerima, analitičarima i Data Scientist-ima kako bi se potrebni podaci prikupljali u realnom vremenu za podršku analitici igara, analizi ponašanja igrača i procesima donošenja odluka.

Pored toga, Data Engineer ima zadatak da optimizuje pipeline-e podataka za performanse i skalabilnost, obezbeđujući da se podaci efikasno obrađuju i budu lako dostupni za različite stakeholder-e. Takođe, može da sarađuje sa gejm dizajnerima kako bi oni integrisali funkcije zasnovane na podacima i poboljšali iskustvo igranja. Stručnost u inženjeringu podataka je od vitalnog značaja za poboljšanje ukupnog kvaliteta video-igara zato što omogućava dolazak do uvida zasnovanih na podacima, do personalizacije kakvu traže igrači i do poboljšanja performansi u igri.

Alati

Autodesk 3ds Max

Unreal Engine

Unity

Maya

Substance Painter

Houdini

Blender

Adobe Photoshop

Marmoset Toolbag

Saradnja sa drugim timovima

Data Engineer blisko sarađuje sa raznim drugim ulogama u industriji video-igara kako bi osigurao/-la besprekornu integraciju procesa vezanih za podatke u razvoj i rad igre. Radi u tandemu sa developerima da ubaci u igre mehanizme za prikupljanje podataka i time omogući praćenje interakcija igrača i događaja u igri. Ova saradnja omogućava developerima da steknu dragocene uvide u ponašanje igrača na osnovu kojih će usavršiti mehanike i gejm dizajn kako bi poboljšali igračko iskustvo. Pored toga, Data Engineer često radi ruku pod ruku sa gejm dizajnerima na implementaciji funkcija koje su zasnovane na podacima, kao što su personalizovane preporuke, dinamičko prilagođavanje težine ili pripovedanje koje se prilagođava igračima.


Data Engineer, takođe, igra ključnu ulogu u podršci analitičarima video-igara i Data Scientist-ima. Omogućava im pristup čistim i strukturiranim podacima kroz dizajniranje i održavanje pipeline-a podataka. Analitičari igara koriste ove podatke za generisanje izveštaja, sprovođenje A/B testiranja i otkrivanje trendova koji usmeravaju donošenje odluka o strategijama monetizacije i ažuriranju sadržaja. Data Scientist-i koriste podatke koje prikupljaja Data Engineer da bi napravili modele mašinskog učenja i izvršili naprednu analitiku, doprinoseći segmentaciji igrača, predviđanju odliva igračai strategijama retencije igrača.

Veštine

U zavisnosti od senioriteta, od Data Engineer-a se očekuje da može da savlada, uradi i isporuči sledeće stvari:

Hard skills

    • Razvoj pipeline-a podataka: dizajnira, gradi i održava pipeline podataka koji efikasno prikuplja, obrađuje i čuva velike količine podataka iz različitih izvora. 
    • Upravljanje bazom podataka: dizajnira i upravlja bazama podataka da bi osigurao/-la integritet, bezbednost, kvalitet i tačnost podataka kroz ETL proces.
    • Programiranje i skriptovanje: koristi programiranje da bi razvio/-la skripte za integraciju podataka, automatizovao/-la radni tok podataka i implementirao/-la nove funkcije.

Soft skills

    • Veštine rešavanja problema: treba da identifikuje probleme, reši ih inovativno i time obezbedi nesmetan protok podataka.
    • Komunikacija: u stanju je da prenese tehničke informacije na jasan i razumljiv način netehničkim licima, da razume njihove zahteve i uspešno ih pretoči u kvalitetna rešenja.
    • Oko za detalje: posvećuje posebnu pažnju detaljima kako bi osigurao/-la da se podaci prikupljaju tačno, pravilno obrađuju i bezbedno čuvaju.

Senioritet

U zavisnosti od senioriteta, od Data Engineer-a se očekuje da može da savlada, uradi i isporuči sledeće stvari:

Junior

  • Uspešno konfiguriše procese za prikupljanje podataka iz različitih izvora, razume formate izvora, API-ja i integraciju mehanizama za prikupljanje podataka u kod igre.
  • Obavlja osnovne zadatke transformacije podataka, kao što su čišćenje, validacija i osnovna obrada podataka.
  • Pomaže u upravljanju bazama podataka, uključujući kreiranje, modifikovanje i ispitivanje baza podataka, kao i osiguravanje konzistentnosti i sigurnosti podataka. 
  • Radi sa drugim članovima tima da bi razumeo/-la zahteve projekta, saopštio/-la napredak i doprineo/-la zadacima u vezi sa podacima u okviru životnog ciklusa razvoja igre.

Medior

  • Dizajnira i implementira složenije pipeline-e za obradu podataka, rukuje većim količinama podataka i optimizuje tokove rada za poboljšane performansi i skalabilnost.
  • Razvija i održava modele podataka, šeme i strukture baze podataka koje su u skladu sa specifičnim potrebama igre. 
  • Doprinesi celokupnoj data arhitekturi sistema za igru obezbeđujući da je infrastruktura podataka pouzdana i da ispunjava dugoročne zahteve za skalabilnost i bezbednost igre.
  • Mentor je juniorima, nudi smernice i podršku u njihovim zadacima i pomaže im da razviju svoje veštine, a efikasno sarađuje i sa ostalim timovima.

Senior

    • Dizajnira i implementira sveobuhvatne data arhitekture koje podrazumevaju komponente skladištenja, obrade i analize podataka. 
    • Optimizuje pipeline podataka i infrastrukturu za maksimalne performanse, skalabilnost i ekonomičnost kroz podešavanje algoritama za obradu podataka i optimizaciju upita.
    • Osigurava bezbednost podataka, privatnost i usklađenost sa relevantnim propisima u okviru ekosistema podataka o video-igrama.
    • Obezbeđuje tehničko vođstvo u data timu, mentoriše ostale inženjere i usmerava ih u rešavanju složenih izazova inženjeringa podataka.
DATA ENGINEER // DATA //
DATA ENGINEER // DATA //

Obrazovanje

Odeljenje za podatke (data department) u gejming industriji u Srbiji predstavlja ključnu kariku u analizi i interpretaciji podataka radi optimizacije igračkog iskustva. Stručnjaci u ovoj oblasti često imaju obrazovanje iz računarskih nauka, informacionih sistema ili statistike. Fakulteti poput Fakulteta organizacionih nauka i Matematičkog fakulteta pružaju teorijske temelje, dok se praktične veštine razvijaju kroz rad na stvarnim projektima.

Kombinacija programiranja, analize podataka i razumevanja gejming industrije čini osnovu obrazovne pozadine. Praćenje najnovijih tehnoloških trendova i učešće u relevantnim kursevima dopunjuju stručnost u radu sa podacima u gejmingu.

Resursi

Knjige

  • „Designing Data-Intensive Applications“ – Martin Kleppmann
  • „Streaming Systems“ – Tyler Akidau, Slava Chernyak, Casey Stella
  • „Hadoop: The Definitive Guide“ – Tom White
  • „Data Engineering with Python“ – Paul Crickard III, Kevin Markham
  • „Data Lake Architecture“ – Bill Inmon

Pojedinci

  • Maxime Beauchemin (@maximebeauchemin)
  • Gwen Shapira (@gwenshap)
  • Michael Hausenblas (@mhausenblas)
  • Ted Malaska (@tedmalaska)
  • Big Data Borat (@BigDataBorat)

Kako izgleda intervju za ovu poziciju?

Novosti

Ako te interesuje koncept art, ovo je prilika koju ne treba propustiti!
Uskoro se otvaraju prijave za besplatne Prop i Environment kurseve u Onyx akademiji!
Razgovarali smo sa preko 20 seniora u domaćem gejmingu. Kad pogledaš ovih šest epizoda trebalo bi da ti bude mnogo jasnije čime u gejmingu možeš i želiš da se baviš
DATA ENGINEER // DATA //
DATA ENGINEER // DATA //