Apache Spark est l’une des technologies influentes dans le domaine du traitement distribué de données. Son modèle de programmation a joué un grand rôle dans la popularité et son adoption rapide par les développeurs et les entreprises. Nous allons tenter d’explorer ce modèle de programmation, en étudiant ses caractéristiques et la manière dont il facilite le traitement efficace des données à grande échelle.
Spark a historiquement été conçu pour répondre à une problématique précise : résoudre les limitations du système de traitement de données Hadoop MapReduce. Ainsi, il offre une alternative plus rapide et plus expressive. Spark a ensuite évolué pour répondre aux besoins croissants des entreprises en matière de traitement de données massives.
Au centre de ce modèle de programmation, nous trouvons le concept de Resilient Distributed Dataset (RDD), qui est une abstraction de données distribuée et immuable. Ce concept permet aux développeurs de manipuler des volumes de données conséquents de manière distribuée, et ce sans problèmes les problèmes de complexité sous-jacente de la gestion de la répartition des données et de la tolérance aux pannes.
Ils présentent deux caractéristiques importantes : résilience et distribution. La résilience car les RDD peuvent être reconstruits en cas de pertes de nœuds, il y a donc tolérance aux pannes. La distribution, elle, garantit la répartition équitable des données entre les nœuds du cluster, afin d’avoir un traitement parallèle efficace.
Avec Spark, il existe deux types d'opérations, les transformations et les actions.
Les transformations : opérations paresseuses, qui ne sont pas immédiatement évaluées. Elles construisent un plan d'exécution qui sera ensuite optimisé avant l’exécution. Elles incluent des opérations telles que map, filter et reduce permettant la transformation des données de manière flexible.
Les actions : Elles déclenchent l'exécution réelle du plan d'exécution et renvoient des résultats au programme utilisateur. Elles incluent des opérations comme count, collect et save permettant l'agrégation et le stockage des résultats.
L’orientation par les données est l’une des caractéristiques distinctives du modèle de programmation Spark. En effet, contrairement au modèle MapReduce, qui lui, doit écrire les données sur les disques entre chaque calcul, Spark en garde autant que possible en mémoire. Ainsi, les performances se trouvent bien meilleures car nous évitons les coûts liés à l’écriture et à la lecture répétées sur les disques.
Cette orientation par les données facilite également la création de pipelines de traitement de données complexes, dans lesquels plusieurs opérations peuvent être enchaînées de manière efficace sans nécessité de stockage intermédiaire sur les disques.
Les RDD fournissent une abstraction puissante, cependant, Spark propose tout de même des API du plus haut niveau, simplifiant le processus de développement. Par exemple, les API Dataset et DataFrame donnent une interface plus expressive, permettant aux développeurs de travailler avec des données structurées, et permettant de profiter des optimisations de performances fournies par le moteur Spark Catalyst.
De plus, les DataFrames permettent la définition de structure de données et l’utilisation des opérations SQL-like. Les Datasets, eux, étendent cette fonctionnalité grâce à l’apport des types de données forts, permettant une sécurité accrue et une meilleure intégration avec les langages de programmation.
Le modèle de programmation Spark fournit une abstraction puissante pour le traitement distribué des données. Le concept RDD simplifie la gestion des données à grande échelle avec sa distribution et sa résilience. L’orientation par les données, les opérations sur les RDD et les API de haut niveau permettent à Spark d’être l’une des technologies incontournables pour le traitement des données massives.
Sources :
https://www.objetconnecte.com/spark-presentation
https://www.data-transitionnumerique.com/comprendre-rdd-spark/
