Extraction et traitement de méga données vers un cluster Hadoop
$30.00
Avec Jean-Philippe Gravel, Norda Stelo
Aussi inclus dans le parcours :
En rupture d'inventaire
Description
L’extraction de séries temporelles vient avec son lot de problématiques. Surtout quand on a des centaines sinon des milliers de capteurs qui échantillonnent à haute fréquence. Comment y voir clair et en tirer de l’information? L’utilisation d’un cluster de type Hadoop pour le stockage, Hive et Impala pour l’interrogation et Spark pour le traitement est primordial pour permettre de tirer profit de vos mégas donnés. Cette conférence est très technique.
Partenaire
Depuis sa fondation au Québec en 1963, Norda Stelo dénombre des milliers de réalisations dans plus de 50 pays à travers le monde. Nous disposons de 17 bureaux au Canada, et comptons également des représentations aux États-Unis (Salt Lake City, Utah), en Côte d’Ivoire (Abidjan), à Madagascar (Tananarive), à Abu Dhabi (Émirats Arabes Unis) et en Nouvelle-Calédonie (Nouméa).
Norda Stelo possède un bureau à Bonaventure depuis plus de 25 ans à partir duquel une équipe d’une dizaine d’employés réalisent des projets multidisciplinaires en Gaspésie, au Québec et ailleurs dans le monde. Norda Stelo profite donc de toute la force et l’expertise de son organisation pour offrir un service de proximité en Gaspésie de concert avec la réalité et les valeurs des gens d’ici.
Norda Stelo se spécialise dans la réalisation de projets intégrés et vise le développement de partenariats durables basés sur la confiance. Pour y arriver, nous développons des expertises de pointe et taillons nos équipes sur mesure pour répondre aux besoins et aux contraintes de chaque client et de chaque projet.
Produits similaires
-
Étendre son empire numérique grâce au multicanal
$30.00 Continuer la lecture -
Digital transformation and Business Development
$30.00 Continuer la lecture -
Collaborative work with Microsoft 365 in the post-pandemic work place
$30.00 Continuer la lecture -
Promo!
Parcours Industrie 4.0
$100.00 Continuer la lecture
Présenté par
Jean-Philippe Gravel – Ingénieur informatique, PSEM, Norda Stelo
Ingénieur informatique cumulant 20 ans d’expériences en conception de logiciels dont trois en tant qu’architecte de systèmes industriels et ingénieur de données. Jean-Philippe a conçu ou intégré plusieurs logiciels pour des organismes gouvernementaux canadiens et provinciaux ainsi que pour le compte de grandes entreprises internationales. Il a travaillé en tant que consultant pour des entreprises américaines et a collaboré avec des développeurs de partout sur la planète.
Jean-Philippe a programmé l’outil en ligne de commande PEX (Pi Extractor) de Rio Tinto. Au départ, ce script devait être un « one shot » pour extraire 800 points aux 5 secondes sur 5 ans (5MM d’échantillons). De fil en aiguille, le script s’est bonifié et est devenu un projet Python comprenant une librairie, un outil de ligne de commande et un extracteur de flux en temps réel. Utilisé par les équipes de R&D du CRDA, PACE et Industrie 4.0 de Rio Tinto, PEX a extrait des centaines de térabytes des différents serveurs de Rio Tinto. Jean-Philippe a également participé au montage du cluster Cloudera utilisé pour stocker et traiter les données extraites par PEX.
Jean-Philippe Gravel – Ingénieur informatique, PSEM, Norda Stelo
Ingénieur informatique cumulant 20 ans d’expériences en conception de logiciels dont trois en tant qu’architecte de systèmes industriels et ingénieur de données. Jean-Philippe a conçu ou intégré plusieurs logiciels pour des organismes gouvernementaux canadiens et provinciaux ainsi que pour le compte de grandes entreprises internationales. Il a travaillé en tant que consultant pour des entreprises américaines et a collaboré avec des développeurs de partout sur la planète.
Jean-Philippe a programmé l’outil en ligne de commande PEX (Pi Extractor) de Rio Tinto. Au départ, ce script devait être un « one shot » pour extraire 800 points aux 5 secondes sur 5 ans (5MM d’échantillons). De fil en aiguille, le script s’est bonifié et est devenu un projet Python comprenant une librairie, un outil de ligne de commande et un extracteur de flux en temps réel. Utilisé par les équipes de R&D du CRDA, PACE et Industrie 4.0 de Rio Tinto, PEX a extrait des centaines de térabytes des différents serveurs de Rio Tinto. Jean-Philippe a également participé au montage du cluster Cloudera utilisé pour stocker et traiter les données extraites par PEX.