data engineering

Whitepaper: Machine Learning in der Cloud – AWS, Azure und GCP im Vergleich

Alexander Blaufuss Blog, Data Science

Management Summary Die digitale Transformation ist für Unternehmen aller Branchen und Größen eine Herausforderung. Basierend auf aktuellen Umfragen, werden als größte Hindernisse einer erfolgreichen Digitalisierung die Anforderungen an Datenschutz und -sicherheit sowie fehlende IT-Kompetenzen in Unternehmen identifiziert.  Damit Unternehmen in einem digitalen, software- und datengetriebenen Zeitalter weiter erfolgreich sein können, müssen die notwendigen technischen Voraussetzungen etabliert werden. Als wichtiger Baustein …

5 Technologien, die jeder Data Engineer kennen sollte

Andre Münch Blog, Data Science

In diesem Beitrag sollen fünf Technologien vorgestellt werden, die jeder Data Engineer für seine tägliche Arbeit kennen und beherrschen sollte. Aufgeführt werden Spark als Data Processing Tool im Big Data Umfeld, Kafka als Streaming Platform, Airflow und Serverless-Architektur zur Koordinierung bzw. Orchestrierung. Zuvor werden Stellenwert und Rolle von SQL (Structured Query Language) und relationalen Datenbanken besprochen.