Verarbeitung und Analyse von Big Data – kostenloser Kurs von Open Education, Ausbildung 2 Wochen, ca. 36 Stunden pro Woche, Datum 29. November 2023.
Verschiedenes / / November 30, 2023
Ph.D. Position: Außerordentlicher Professor, Fakultät für Steuerungssysteme und Robotik, außerordentlicher Professor, Higher School of Digital Culture, ITMO University
Kandidat für physikalische und mathematische Wissenschaften. Position: Außerordentlicher Professor, Higher School of Digital Culture, ITMO University
Ph.D. Position: Außerordentlicher Professor, Higher School of Digital Culture, ITMO University
Modul 1 Thema 1.1 Einführung in die Datenwissenschaft Bespricht Arten und Quellen von Daten sowie Prinzipien Trennen und Kombinieren von Daten, Arten von Skalen, Methoden zur Datenbereinigung und zum Füllen von Lücken, Kontrolle Bereiche. Thema 1.2 Datenverarbeitungstools Erörtert primäre Datenverarbeitungstools wie Tabellenkalkulationen (Google-Tabellen usw.). Excel) behandelt die Themen Sortieren und Filtern von Daten, Mittel zur Aggregation und Analyse tabellarischer Daten (Pivot-Tabellen). Thema 1.3 Visualisierung Daten Die Aufgaben und Methoden der Datenvisualisierung in verschiedenen Tools (Google-Tabellen und Excel), Darstellungsformen quantitativer und qualitative Daten. Die Visualisierung kognitiver Daten wird berücksichtigt. Thema 1.4 Analyse und Transformation von Daten Methoden zur Glättung und Normalisierung von Daten sowie Fragen der Datentransformation werden berücksichtigt. Die Arten der deskriptiven Statistik und Methoden zu ihrer Berechnung werden ausführlich beschrieben. Thema 1.5 Arbeiten mit Zeitreihen Es werden die Prinzipien der Arbeit mit Zeitreihen und Methoden zu ihrer Analyse betrachtet. Besonderes Augenmerk wird auf Techniken zur Glättung von Zeitreihen, zur Bestimmung von Trends und saisonalen Komponenten von Zeitreihen gelegt.
Modul 2 Big Data Storage Thema 2.1. Datenbankmanagementsysteme Die Architektur von Informationssystemen und die Hauptfunktionen von Datenbankmanagementsystemen werden betrachtet. Thema 2.2. Entwerfen strukturierter Daten Die Grundkonzepte des relationalen (tabellarischen) Modells werden berücksichtigt Daten, Entwerfen von Daten in einem relationalen Modell, Regeln zum Erstellen von Tabellen und Definieren von Integritätsbeschränkungen. Thema 2.3. SQL – Abfragen an Daten und Datenbankobjekte Die Prinzipien der Erstellung von Abfragen an Daten in der SQL-Sprache werden berücksichtigt, einschließlich Projektion, Sortieren, Festlegen von Auswahlbedingungen, Zusammenführen mehrerer Tabellen, mengentheoretische Operationen, verschachtelt Anfragen. Die Vorlesung behandelt auch Datenbankobjekte – Ansichten, Prozeduren/Funktionen, Trigger. Es wird das Konzept von Indizes vorgestellt, das die Effizienz bei der Ausführung mehrerer Abfragen verbessern kann. Thema 2.4. NoSQL-Speicher Die grundlegenden Konzepte und Eigenschaften von NoSQL-Systemen sowie verschiedene Typen und Bewertungen von NoSQL-Systemen werden berücksichtigt: Schlüsselwert, Dokument, Spalte und Diagramm. Prinzipien zum Erstellen von Abfragen für Daten in NoSQL-Speichern. Thema 2.5. MongoDB – Arbeiten mit der Dokumentenspeicherung Erläutert das Organisieren von Daten und das Erstellen von Abfragen in MongoDB. Es werden Beispiele für die Erstellung von Abfragen in der MongoDB-Demodatenbank bereitgestellt.