Kurs „Data Engineer“ – Kurs 95.000 Rubel. von Yandex Workshop, Ausbildung 6,5 Monate, Datum: 11. Dezember 2023.
Verschiedenes / / November 30, 2023
Für praktizierende Entwickler
Lernen Sie, eine Infrastruktur für die Arbeit mit Daten aufzubauen und Ihr Wissen zu systematisieren, um es in Ihrer aktuellen Rolle zu nutzen oder die Richtung zu einem Dateningenieur zu wechseln.
Für angehende Dateningenieure
Wissen strukturieren: Neben klarer Theorie wird es viel Praxis geben. Sie sammeln Erfahrungen bei der Arbeit an Projekten – das wird Ihnen helfen, ein Portfolio aufzubauen, sich von anderen Kandidaten abzuheben und sich nicht in der eigentlichen Arbeit zu verlieren.
Data-Science-Spezialisten und -Analysten
Erlernen Sie Fähigkeiten, die Ihnen helfen, Aufgaben effektiver zu bewältigen: Datenpipelines erstellen, Storefronts entwerfen, ETL erstellen und Rohdaten in großen Mengen sammeln.
Aktualisierung des Datenmodells
1 Modul 2 Wochen
Das Unternehmen lässt Sie weiterhin in seine Prozesse eintauchen. Die Daten, mit denen Sie gearbeitet haben, wurden aktualisiert, daher müssen Sie das Datenmodell ändern.
In diesem Kurs werden Sie:
- verstehen, wie das Unternehmen eine Datenbank aufbaut;
- die Struktur der aktuellen Datenbank entsprechend den neuen Geschäftsanforderungen aktualisieren;
- Bereiten Sie neue Präsentationen und Kennzahlen für Analysten und Manager vor.
Technologien und Tools:
- PostgreSQL
+1 Projekt im Portfolio
Erstellen Sie einen Data Mart mit inkrementellem Laden für die Zielgruppenanalyse im Online-Shop.
DWH: Überarbeitung des Datenmodells
Modul 2 3 Wochen
Das Unternehmen wächst, die Datenarchitektur wird komplexer. Sie erhalten die Aufgabe, Prozesse mit Daten zu optimieren.
In diesem Kurs werden Sie:
- Denken Sie über den Prozess des Übergangs vom alten Datenbankschema zum neuen nach und minimieren Sie gleichzeitig Geschäftsverluste (Bereitstellung ohne Ausfallzeiten).
- Datenmigration vorbereiten;
- Berücksichtigen Sie mögliche Probleme und entwerfen Sie eine Option zum Zurücksetzen von Änderungen.
- eine neue Datenbankstruktur implementieren und diese an bestehende Prozesse rund um Daten anpassen.
Technologien und Tools:
- PosgreSQL
- Python
+1 Projekt im Portfolio
Sie bringen das Datenmodell in Ordnung und migrieren Daten in den aktuellen Speicher des Online-Shops.
ETL: Automatisierung der Datenvorbereitung
Modul 3 3 Wochen
Sie wissen jetzt fast alles über das Data Warehouse des Unternehmens. Es ist Zeit, ETL-Prozesse zu überdenken.
In diesem Kurs werden Sie:
- die Datenpipeline automatisieren;
- Automatisches Herunterladen von Daten aus Quellen konfigurieren;
- lernen, Daten regelmäßig und schrittweise in die Datenbank zu laden.
Technologien und Tools:
- Python
- Luftstrom
- PostgreSQL
+1 Projekt im Portfolio
Erstellen Sie für ein E-Commerce-Projekt eine Pipeline für den automatisierten Empfang, die Verarbeitung und das Laden von Daten aus Quellen in die Storefront.
Datenqualitätsprüfung
Modul 4 1 Woche
Sie möchten sicher sein, dass Ihre ersten Pipelines einwandfrei funktionieren. Die Datenqualität muss überprüft und Ausfälle zeitnah nachverfolgt werden.
In diesem Kurs werden Sie:
- verstehen, wie man Metainformationen und Dokumentation nutzt;
- Bewerten Sie die Qualität der Daten.
DWH für mehrere Quellen
Modul 5 2 Wochen
Sie forschen weiter an DWH, weil die Entwicklung des Unternehmens und damit der Anstieg des Datenvolumens nicht aufzuhalten ist.
In diesem Kurs werden Sie:
- DWH von Grund auf auf einem relationalen DBMS erstellen;
- Machen Sie sich mit MongoDB als Datenquelle vertraut.
Technologien und Tools:
- PostgreSQL
- MongoDB
+1 Projekt im Portfolio
Sie entwerfen und implementieren DWH für ein Inhouse-Startup.
Analytische Datenbanken
Modul 6 2 Wochen
Es gibt immer mehr spezifische unstrukturierte Daten, die ebenfalls gespeichert und verarbeitet werden müssen. Daher stellen wir Ihnen das Konzept analytischer Datenbanken am Beispiel des Vertica DBMS vor.
In diesem Kurs werden Sie:
- Untersuchung der Lagerungsorganisation in Vertica;
- lernen, wie man grundlegende Operationen mit Daten in Vertica durchführt;
- Erstellen Sie ein einfaches Data Warehouse in Vertica.
Technologien und Tools:
- Vertica
- PostgreSQL
- Luftstrom
- S3
+1 Projekt im Portfolio
Erstellen Sie mit Vertica ein DWH für ein Messenger-Datensystem mit hoher Auslastung und geringer Struktur.
Data Lake-Organisation
Modul 7 4 Wochen
Klassische Lösungen helfen nicht, das Datenvolumen zu bewältigen. Um neue geschäftliche Herausforderungen zu bewältigen, bauen Sie einen Data Lake auf und befüllen ihn.
In diesem Kurs werden Sie:
- Betrachten Sie die Data-Lake-Architektur (trans. „Datensee“);
- lernen, Daten im MPP-System zu verarbeiten;
- den Data Lake mit Daten aus Quellen füllen;
- Datenverarbeitung mit PySpark und Airflow üben.
Technologien und Tools:
- Hadoop
- Karte verkleinern
- HDFS
- Apache Spark (PySpark)
+1 Projekt im Portfolio
Erstellen Sie einen Data Lake und automatisieren Sie das Laden und Verarbeiten der darin enthaltenen Daten.
Stream-Verarbeitung
Modul 8 3 Wochen
Sie haben die Schwierigkeiten mit einer großen Datenmenge überwunden, aber eine neue Aufgabe ist aufgetaucht: Sie müssen dem Unternehmen helfen, Entscheidungen schneller zu treffen. Hier sind Kenntnisse in der Stream-Datenverarbeitung erforderlich. Streaming).
In diesem Kurs werden Sie:
- die Merkmale der Stream-Datenverarbeitung berücksichtigen;
- Bauen Sie Ihr eigenes Streaming-System;
- Erstellen Sie eine Storefront mit Echtzeitdaten.
Technologien und Tools:
- Kafka
- Spark-Streaming
+1 Projekt im Portfolio
Sie entwickeln ein Echtzeit-Datenverarbeitungssystem.
Cloud-Technologien
Modul 9 3 Wochen
Jetzt können Sie sowohl mit großen Datenmengen als auch mit Streams arbeiten. Bleibt nur noch, die Skalierung von Systemen mithilfe von Cloud-Diensten zu automatisieren.
In diesem Kurs lernen Sie, wie Sie bereits untersuchte Lösungen implementieren, jedoch in der Cloud (am Beispiel von Yandex Cloud).
Technologien und Tools:
- Yandex. Wolke
- Kubernetes
- kubectl
- Redis
- PostgreSQL
+1 Projekt im Portfolio
Sie entwickeln eine Infrastruktur zur Speicherung und Verarbeitung von Daten in der Cloud.
Abschlussprojekt
Modul 10 3 Wochen
Bestätigen Sie, dass Sie neue Fähigkeiten erlernt haben.
Hier müssen Sie selbstständig Lösungen für ein Geschäftsproblem auswählen und umsetzen. Dies wird Ihnen dabei helfen, den Umgang mit den erlernten Werkzeugen und Ihre Selbständigkeit noch einmal zu festigen.