Prise de note cours Big Data

Que vous évoque le mot "Big Data" ? (Wooclap)

• Gros volume de données
• Analyse de données
• Intelligence artificielle
• Statistiques
• Prévisions
• Prise de décision
• Récolte d'informations
• Cambridge Analytica
• Smart city

Lecture de l'article "Undefined By Data: A Survey of Big Data Definitions" 10 min

Quelles sont les 3 principales caractéristiques de Big Data ? (Wooclap)

• Volume de données (Vrai)
• Utilisation de technologies particulières (NoSQL, Hadoop, apprentissage machine, etc) (Vrai)
  Base de données NoSQL, permet de manipuler des données moins structurées que dans SQL avec des schémas qui sont moins rigides.
• Complexité des données (Vrai)
  Derrière la complexité on va trouver la variété, l'hétérogénéité des données.
  On peut avoir des problématiques Big Data avec des données peu volumineuses, mais qui sont très hétérogènes, très complexes. Donc il faut faire beaucoup de traitements, pour extraire des données ou des informations utilisables, qu'on peut analyser.
• Vitesse de production des données (Faux)
• Confiance dans les données (Faux)
• Variété ou hétérogénéité des données (Faux)

La différence entre complexité et hétérogénéité ? (Question du tchat)

La complexité c'est plus général que l'hétérogénéité, les données peuvent être complexes pour différentes raisons.L'hétérogénéité c'est quand les données viennent de systèmes différents.
Par exemple des données temporelles qui ne sont pas échantillonnées sur la même base de temps (secondes/millisecondes).La complexité peut venir d'un ensemble de données lui même, car les données varient de manière complexe. Si on prend des variations de température, on va avoir des données qui sont très lisses, avec des variations continues avec peu d'amplitude.
A l'inverse si on prend l'enregistrement du bruit dans une ville, on va avoir des données
extrêmement variables et difficilement prévisibles. La complexité peut venir d'un même
enregistrement de données et pas forcement de l'hétérogénéité entre les enregistrements de données.

Lecture de l'article "Big Data and Its Technical Challenges" 30 min

Ordonnez les phases du cycle de vie des données de type Big Data. (Wooclap)

• 1. Acquisition des données
• 1. Nettoyage et extraction d'information
     Par exemple un chercheur qui a travaillé avec la SNCF pour essayer d'optimiser la consommation d'énergie d'un train. Sur un parcours il y a des montées et des des centes, il faut accélérer/freiner au bon moment pour arriver à l'heure. Et chaque chauffeur de TGV a sa façon de conduire et donc pas tous la même consommation d'énergie sur un même trajet. Il a récupéré des données de consommation électrique dans un tableau. La phase qui lui a pris le plus de temps c'est de nettoyer ces don nées (enlever les données aberrantes / détecter les échantillons qui sont non
     complets).
• 1. Interprétation, agrégation et représentation des données
• 1. Modélisation et analyse
• 1. Interprétation
     Pour en tirer des conséquences et des actions qui vont pouvoir modifier un processus ou pour comprendre des phénomènes.

Parmi les 6 défis identifiés dans l'article lesquels vous semble les plus difficiles ? (Wooclap)

• 1. L'aspect humain : visualisation et collaboration
• 1. Échelle
• 1. Inconsistance et incomplétude
• 1. Hétérogénéité
• 1. Temps-réel
     Il faut prendre en compte les informations dans leur flot, et donner des réponses à temps pour pouvoir prendre des bonnes décisions.
• 1. Confidentialité et propriété des données
     Par exemple le Health Data Hub (plateforme française d'hébergement des données de santé) devait être sur Azure (cloud Microsoft) mais cela a été retoqué, pour des
     problèmes de confidentialité et propriété des données.
     Dans chaque organisation avec un système d'information il y a un DPO (responsable de la protection des données).

Lecture de l'article "MapReduce : Simplified Data Processing on Large Clusters" 30min

À quel moment et par qui un processus "reduce" est-il prévenu qu'il a des données à traiter ? (Wooclap)

• dès qu'un processus "map" a fini son travail, par le maître (Vrai)
  (voir figure 2)
• dès que tous les processus "map" ont fini leur travail, par le maître (Faux)
• dès qu'un processus "map" a fini son travail, par ce processus (Faux)

Le système de fichiers doit-il être distribué ? (Wooclap)

• oui (Vrai)
  Car les échanges de données passe par le système de fichiers qui est dessous.
• pas nécessairement mais recommandé (Faux)
• pas nécessairement (Faux)

Le système de fichiers doit-il être répliqué ? (Wooclap)

• pas nécessairement mais recommandé (Vrai)
  Si le système de fichiers n'est pas répliqué il n'est pas tolérant aux pannes.
• oui (Faux)
• pas nécessairement (Faux)
  Le système de fichiers utilisé doit-il être efficace pour les petits fichiers ? (Wooclap)
• pas nécessairement (Vrai)
  Car pour du Big Data.
• oui (Faux)
• pas nécessairement mais recommandé (Faux)
  Le système de fichiers utilisé doit-il être efficace pour les grands fichiers ? (Wooclap)
• oui (Vrai)
• pas nécessairement (Faux)
• pas nécessairement mais recommandé (Faux)
  Qu'est-ce qu'Hadoop (voir http://hadoop.apache.org/) ?
• Un ensemble de bibliothèques Java (Vrai)
• Une implémentation libre de MapReduce (Vrai)
• Une base de données distribuée (Faux)
• Une infrastructure logicielle et matérielle pour des applications distribuées (Faux)

Auteur : Oscar Baudry