Ingénierie de la fouille et de la visualisation de données massives (RCP216)

Contents:

• Introduction

  • Sujet du cours

  • Contenu et objectifs de l’enseignement

  • Organisation de l’enseignement

  • Quelques références bibliographiques

  • Passage à l’échelle de la fouille de données

    • MapReduce et la fouille de données

    • Spark et la fouille de données

• Installation de Spark

  • 1. Windows (XP, 7, 8, 8.1, 10), > 4 Go RAM

  • 2. Windows (XP, 7, 8, 8.1, 10), < 4 Go RAM

  • 3. Linux

  • Installation de VirtualBox sur Windows

  • Installation de la machine virtuelle CDH5 QuickStart VM pour VirtualBox

  • Installation de Linux Mint

  • Installation de la dernière version de Java

  • Installation de la bonne version de Scala

  • Installation de la dernière version de Spark

  • Configuration et vérification

  • Installation de Hadoop 2.6

• Réduction du volume de données

  • Calculs sur un échantillon

    • Echantillonnage dans Spark

  • Réduction de dimension

    • Approches de réduction de dimension

    • Analyse en composantes principales

    • Analyse factorielle discriminante

    • Analyse factorielle des correspondances

• Travaux pratiques - Introduction à Spark et Scala

  • Spark : concepts de base avec exemples

    • Lancement de l’interpréteur de commandes en Scala et opérations simples

    • Actions

    • Transformations et persistance

    • Création de RDD, stockage de RDD

  • Scala : concepts de base avec exemples

    • Fonctions anonymes

    • Listes en compréhension (Sequence Comprehensions)

• Réduction de l’ordre de complexité

  • Principe des méthodes et typologie des besoins

  • Réduction de l’ordre de complexité : approches

  • Le hachage

  • Hachage sensible à la similarité (LSH)

  • LSH pour métriques courantes

  • Amplification de fonctions LSH

• Travaux pratiques - Manipulation de données numériques. Exécution d’applications

  • Données numériques dans MLlib

    • Vecteurs locaux, matrices locales

    • Lecture des données numériques

    • Matrices distribuées

    • Opérations sur vecteurs et matrices

  • Ecrire et exécuter une application dans Spark

    • Ecriture de l’application

    • Lancement en exécution avec spark-submit

• Recherche par similarité, jointure par similarité. Application aux systèmes de recommandation

  • Recherche et jointure par similarité

    • LSH pour la distance cosinus

    • Jointure par similarité avec LSH

    • Malédiction de la dimension

  • Systèmes de recommandation

    • Le problème et les approches

    • Recommandation par similarité de contenu

    • Recommandation par filtrage collaboratif

    • Filtrage collaboratif basé sur la factorisation matricielle

    • Filtrage collaboratif avec Spark

• Travaux pratiques - Echantillonnage. Analyse en composantes principales

  • Echantillonnage

    • Echantillonnage simple

    • Echantillonnage stratifié

  • Analyse en composantes principales (ACP)

    • Réaliser l’ACP

    • Visualiser les résultats

• Classification Automatique

  • K-means

    • K-means : une implémentation simple MapReduce

    • Initialisation de K-means par K-means++

    • Initialisation K-means parallélisable : K-means||

  • Classification ascendante hiérarchique

  • Classification automatique dans Spark

• Travaux pratiques - Classification automatique avec k-means

  • Importation des librairies nécessaires

  • Génération des données

  • K-means avec initialisation par K-means||

  • Visualisation des résultats

  • Questions

• Fouille de données textuelles

  • Objectifs et applications

  • Approche générale

  • Principales opérations

    • Collecte et pré-traitement des données textuelles

    • Extraction d’entités primaires

    • Étiquetage grammatical

    • Extraction d’entités nommées et résolution référentielle

    • Analyse syntaxique

    • Extraction d’informations

    • Lemmatisation ou racinisation

  • Représentation vectorielle des textes

    • Pondération TF-IDF

    • Analyse sémantique latente

    • Analyse sémantique explicite

    • Word2Vec

  • Environnements logiciels

    • Opérations liées à la fouille de textes dans Spark

• Travaux pratiques - Fouille de données textuelles

  • Introduction

    • Création de l’environnement de travail

    • Chargement de la base de données

    • Lemmatisation

    • Calcul de la matrice TF-IDF

    • Calcul de LSA et inspection des résultats

    • Recherches par rapport à un (groupe de) mot(s) ou à un document

    • Questions

    • Bibliographie

• Travaux pratiques - Fouille de flux de données

  • Récupération des données

  • Préparation des scripts nécessaires

  • Classification et visualisation des résultats

  • Questions

• Travaux pratiques - SVM linéaires

  • Récupération des fichiers nécessaires

  • SVM linéaires : utilisation des données d’origine

  • Apprentissage et prévision après réduction de la dimension des données

• Travaux pratiques - Fouille de réseaux sociaux, première partie

  • Introduction

    • Objectif du TP

    • Description des données

    • Récupération des données

    • Co-occurrences des sujets principaux de MeSH

  • Construction d’un graphe de co-occurrences avec GraphX

  • Comprendre la structure du graphe

    • Composantes connexes

    • Distribution de degrés

  • Bibliographie

• Travaux pratiques - Fouille de réseaux sociaux, deuxième partie

  • Introduction aux réseaux Petits Mondes

  • Objectifs du TP

  • Filtrer le graphe

    • Revenir à l’état de la fin de la séance précédente

    • Une nouvelle pondération

  • Réseaux Petits Mondes : Cliques et coefficients de clustering

  • Aller plus loin

  • Bibliographie

• Travaux pratiques - Introduction à Processing

  • Exercice 1 - Processing en mode immédiat

  • Exercice 2 - La boucle d’animation draw()

  • Exercice 3 - Mode réactif pour l’interaction

• Travaux pratiques - Cartographie

  • Exercice 1 - Carte des communes

  • Exercice 2 - Filtrage

  • Exercice 3 - Passage en mode animé

  • Exercice 4 - Cartographie interactive

  • Pour continuer

• Travaux pratiques - Petits multiples

  • Exercice 1 - Classe Chronique

  • Exercice 2 - Graphisme amélioré

  • Exercice 3 - Passage aux petits multiples

  • Exercice 4 - Un programme interactif pour explorer le passage à l’échelle

  • Pour continuer

• Travaux pratiques - Treemaps

  • Exercice 1 - Premier exemple

  • Exercice 2 - Génération aléatoire d’arbre

  • Exercice 3 - Algorithme de subdivision en largeur

  • Exercice 4 - Subdivision en largeur et hauteur alternées (“slice and dice”)

  • Exercice 5 - Coloriage du treemap

• Travaux pratiques - Nuages de mots

  • Exercice 1 - Utilisation de Wordle

  • Exercice 2 - Fonctions de base pour la typographie avec Processing

  • Exercice 3 - Une heuristique pour la construction du nuage

  • Pour continuer