Dateningenieur - Kurs 89.000 Rubel. von Otus, Ausbildung 4 Monate, Datum 30. November 2023.
Verschiedenes / / December 03, 2023
Was bringt Ihnen dieser Kurs?
- Verstehen der wichtigsten Möglichkeiten zur Integration, Verarbeitung und Speicherung großer Datenmengen
- Fähigkeit, mit Hadoop-Ökosystemkomponenten, verteiltem Speicher und Cloud-Lösungen zu arbeiten
- Praktische Fähigkeiten in der Entwicklung von Datendiensten, Storefronts und Anwendungen
- Kenntnis der Prinzipien der Organisation von Überwachung, Orchestrierung und Tests
Der Kurs ist angesprochen Entwickler, DBMS-Administratoren und alle, die ihr berufliches Niveau verbessern, neue Tools beherrschen und sich an interessanten Aufgaben im Bereich der Arbeit mit Daten beteiligen möchten.
Nach dem Studium des Data Engineering werden Sie zu einem gefragten Spezialisten, der:
- implementiert, passt und optimiert Datenverarbeitungstools
- passt Datensätze für weitere Arbeiten und Analysen an
- erstellt Dienste, die die Ergebnisse der Verarbeitung großer Datenmengen nutzen
- verantwortlich für die Datenarchitektur im Unternehmen
Echte Fallstudien: Beispiele für Implementierungen, Tool-Nutzung, Leistungsoptimierung, Probleme, Fehler und angewandte Ergebnisse
Hoher Praxisbezug:
Während des Kurses werden wir schrittweise ein funktionierendes Produkt erstellen und angewandte Probleme lösen
Ein ganzheitliches Bild der Herausforderungen und Aufgaben moderner Unternehmen und der Rolle des Data Engineers bei deren Lösung
Nachfrage bei Arbeitgebern
40 Arbeitgeber sind bereits bereit, Studienabsolventen zu einem Vorstellungsgespräch einzuladen
6
KurseDateningenieur bei Wildberries, DE Junior-Kurssprecher. Mehr als 7 Jahre in der IT
Absolvent der Staatlichen Universität Woronesch mit Auszeichnung. Derzeit Student im HSE-Masterstudiengang „System and Software Engineering“. Berufserfahrung – 2 Jahre Arbeit als Datenanalyst und Dateningenieur. Jetzt arbeitet er mit fünf gängigen Datenbanken, entwickelt in Python und entwickelt seine Fähigkeiten schnell weiter. Ich bin bereit, meine Erfahrungen zu teilen.
1
AlsoEr entwickelt seit mehr als 10 Jahren Analysen im Unternehmen. Zu den Errungenschaften gehören: - Aufbau unseres eigenen End-to-End-Webanalysesystems; - Aufbau eines Analyselagers auf Basis von MPP Vertica; - Organisation der Datenverarbeitung auf Basis von Spark, Kafka, HDFS; -...
Er entwickelt seit mehr als 10 Jahren Analysen im Unternehmen. Zu den Errungenschaften zählen: - Aufbau unseres eigenen End-to-End-Webanalysesystems; - Aufbau eines Analyselagers auf Basis von MPP Vertica; - Organisation der Datenverarbeitung auf Basis von Spark, Kafka, HDFS;- Aufbau von Prozessen für die Arbeit mit Daten, einschließlich Datenqualität;- Erstellung mehrerer interner Tools zur Bearbeitung und Strukturierung von Metadaten (Datenkatalog);- Aufbau eines Unternehmensberichtssystems, einschließlich Echtzeit; - Seit mehr als 5 Jahren erhöht er die Datenkompetenz im Unternehmen und führt verschiedene Schulungen zum Umgang mit Daten durch. Tools, SQL; Er entwickelte auch mehrere Analytics-Führungskräfte, die heute in großen Unternehmen arbeiten. Das Hauptaugenmerk liegt darauf, geschäftliche Probleme bei der Arbeit mit Daten zu verstehen und zu lösen.
1
AlsoAbteilungsleiter, Sberbank 8 Jahre Erfahrung in der industriellen Entwicklung, einschließlich der Erstellung und Wartung von Webanwendungen sowohl in großen Unternehmen als auch in Startups. 3 Jahre Entwicklung verteilter Systeme für große Behörden...
Abteilungsleiter, Sberbank 8 Jahre Erfahrung in der industriellen Entwicklung, einschließlich der Erstellung und Wartung von Webanwendungen sowohl in großen Unternehmen als auch in Startups. 3 Jahre Entwicklung verteilter Systeme für große Regierungskunden. Drei Projekte von Grund auf umgesetzt, vom Prototyp bis zur Industriereife. Derzeit beschäftigt er sich mit der Full-Stack-Entwicklung für interne Kunden der Bank und löst Probleme im Zusammenhang mit Datenanalyse und Engineering. Erfahrung in der Programmierung in Java, Scala, Python, Javascript. Ein breites Spektrum an beruflichen Interessen, die vom Aufbau verteilter Systeme bis hin zu Predictive Analytics und Intent Analysis reichen. Ausbildung: Bachelor-Abschluss der nach ihr benannten UrFU. B.N. Jelzin „Informationstechnologien“.
Datenarchitektur
-Thema 1. Dateningenieur. Aufgaben, Fähigkeiten, Werkzeuge, Marktbedürfnisse
-Thema 2. Architektur analytischer Anwendungen: Grundkomponenten und Prinzipien
-Thema 3. Lokale / Cloud-Lösungen
-Thema 4. Pipeline-Automatisierung und Orchestrierung – 1
-Thema 5. Pipeline-Automatisierung und Orchestrierung – 2
Datensee
-Thema 6. Verteilte Dateisysteme. HDFS/S3
-Thema 7.SQL-Zugriff auf Hadoop. Apache Hive/Presto
-Thema 8. Datenspeicherformate und ihre Funktionen
-Thema 9. Analyse der Fernbedienung für 1 Fall
-Thema 10. Nachrichtenwarteschlangen. Kafka-Übersicht.
-Thema 11.Herunterladen von Daten aus externen Systemen
-Thema 12.Apache Spark – 1
-Thema 13.Apache Spark – 2
DWH
-Thema 14.Analytisches DBMS. MPP-Datenbanken
-Thema 15.DWH-Modellierung – 1. DBT-Grundlagen
-Thema 16.DWH-Modellierung – 2. Datentresor 2.0
-Thema 17. DevOps-Praktiken in analytischen Anwendungen. CI+CD
-Thema 18. Analyse der Fernbedienung für Fall 2
-Thema 19. Datenqualität. Datenqualitätsmanagement
-Thema 20. Bereitstellung einer BI-Lösung
-Thema 21.Überwachung / Metadaten
NoSQL/NewSQL
-Thema 22.NoSQL-Speicher. Breite Spalte und Schlüsselwert
-Thema 23.NoSQL-Speicher. Dokumentenorientiert
-Thema 24.ELK
-Thema 25.ClickHouse
-Thema 26. Analyse der Fernbedienung für Fall 3
MLOps
-Thema 27.Organisation und Verpackung von Code
-Thema 28.Docker- und REST-Architektur
-Thema 29.MLFlow + DVC
-Thema 30. Bereitstellung von Modellen
-Thema 31. Analyse der Fernbedienung für Fall 4
-Thema 32. Analyse der Fernbedienung für Fall 5
Abschlussprojekt
-Thema 33. Themenauswahl und Organisation der Projektarbeit
-Thema 34.Konsultation
-Thema 35.Schutz