Un des défis aujourd'hui est de pouvoir traiter des données de plus en plus volumineuses de manière rapide et efficace sans pour autant perdre de l'information. La stratégie est de distribuer le stockage de données et de paralléliser leur traitement.
Il y a 2 challenges à relever :
MapReduce répond au premier challenge par le parallélisme des traitements et HDFS (Hadoop Distributed File System) répond au second challenge par la redondance des données.
Hadoop est un framework libre faisant partie des projets de la fondation logicielle Apache. Ce framework permet le traitement par application distribuée de grands volumes de données à travers des noeuds réparties sur différentes machines. Le traitement des données se fait par bloc qui sont traités de façon optimale. Hadoop a été conçu pour être résistant aux pannes qui peuvent être fréquentes sur ce genre de structure étant donné le grand nombre de machines.
MapReduce est un modèle algorithmique de type diviser pour régner qui découpe automatiquement les traitements en tâches indépendantes et les exécute en parallèle sur plusieurs machines dans un cluster.
L'algorithme MapReduce est composé de 3 étapes :
Pour mieux comprendre le fonctionnement de MapReduce, voir le schéma à la fin de l'article.
Dans cette étape les données à traiter sont déjà partitionnées dans le HDFS.
Chaque tâche Map se charge d'une partition. Map est une fonction qui prend en entrée un ensemble de données et qui les transforme en un ensemble de paires clé/valeur.
Ici le terme Map n'est pas dans le sens objet, mais dans le sens fonctionnel.
Cette étape intermédiaire commence quand l'étape précédente se termine.
Cette étape a 2 parties :
Le but de cette dernière étape est de réduire les données des valeurs associées à chaque clé.
Dans l'illustration en fin d'article, on peut voir que la valeur pour une clé est transformée d'une liste de valeurs à une seule valeur.
Dans la fonction Reduce il est possible d'utiliser l'agrégat désiré comme par exemple la somme, la moyenne, le maximum, le minimum, etc. Il est aussi possible de faire des opérations sur les résultats comme par exemple l'affichage, l'enregistrement dans une base de données, ou l'envoi à un autre job MapReduce.
Source : https://www.data-transitionnumerique.com
Pendant la phase Map, le traitement des données est complètement indépendant entre les noeuds.
Cependant pendant la phase Reduce, les noeuds communiquent entre eux à travers les fichiers ce qui peut s'avérer être lent.
La programmation MapReduce fournit une abstraction pour l'utilisateur. Le système se charge de lancer l'exécution des tâches en parallèle et leur coordination dans le cluster. Ainsi du point de vue de l'utilisateur, il ne fournit que le job MapReduce, c'est-à-dire les fonctions Map et Reduce.
Mais, quel est le lien avec Hadoop, et comment s'exécute-t-il dans un cluster Hadoop ?
Le traitement des données par MapReduce est exécuté dans un cluster Hadoop en 7 étapes :
