Scala [Spark] Developer

Automaticky generované shrnutí. Berte ho jako orientační přehled.

Práce spočívá ve vývoji a optimalizaci Big Data řešení pro mezinárodní bankovní projekt v agilním týmu. Budete zpracovávat velké objemy dat v reálném čase i batch režimu pomocí Apache Spark a podílet se na vývoji a údržbě distribuovaných datových pipeline s využitím Scala Spark SQL/Streaming. Dále navrhujete technická řešení pro integraci s systémy využívajícími Kafka a Hadoop, zajišťujete vysokou výkonnost a spolehlivost zpracování a využíváte CI/CD a DevOps praktiky. Komunikace v angličtině; Hybridní spolupráce: 2 dny onsite v Praze 4, 3 dny remote.

Požadavky: alespoň 3 roky zkušeností s Core, SQL a Streaming, s Hadoopem/Hive/Kafka; zkušenost s vývojem a správou distribuovaných systémů, návrhem a optimalizací datových struktur a algoritmů a verzováním (Git) v rámci CI/CD. Pokročilá znalost softwarového inženýrství a principů čistého kódu; angličtina. Vhodné jsou zkušenosti s dalším big data frameworky a messaging systémy a cloudovými platformami (AWS, Azure). 6000-8000 CZK. Hybrid – 2 dny onsite v Praze 4, 3 dny remote.