Note : 6 ; Comprendre le “log shipping” avec fluentd !

Avec 300 pages, l’ouvrage est légèrement au-dessus de la moyenne, il compte 11 chapitres répartis en 4 parties, ce qui est un découpage également raisonnable. La première partie « From zero to hello world » ne cache pas son caractère introductif et nous propose 2 chapitres sur une soixantaine de pages. S’il est déjà bien focalisé sur Fluentd, le premier chapitre d’une trentaine de pages couvre bien les problématiques du « log shipping » en corrélation sur ce qu’est un élément de log. Il ne manque pas non plus d’évoquer son concurrent de toujours, Logstash. C’est une bonne introduction, fort prometteuse. Le second chapitre nous fait découvrir à haute altitude les éléments structurants de Fluentd. Cela permet de mieux le conceptualiser en tant que « ESB pour les logs ». Mais le gros du chapitre est consacré au déploiement et aux nombreuses options possibles. C’est certes intéressant, mais je trouve le propos assez déséquilibré dans ce chapitre.

La seconde partie « Fluentd in depth » explicite bien le titre sa finalité. Il couvre une centaine de pages avec 4 chapitres. Le chapitre 3 nous permet de rentrer dans l’action en mettant en œuvre pour capturer les évènements de log à la source, mais en l’occurrence uniquement sous forme de fichiers. C’est dommage, car Fluentd permet aussi de capturer d’autres sources, mais ce sera en partie traité plus tard. Le second volet traite du parsing permettant d’imposer une structure au log dès leur capture. Au final une bonne couverture du sujet, même si elle est limitée aux fichiers. C’est fort logiquement à l’ouput qu’est consacré le chapitre 4. On y découvre des possibilités que l’on ne soupçonnait pas : buffering (pour grouper les évènements à des fins d’optimisation), compression, etc. Contrairement au chapitre 3, l’auteur nous met en perspectives la mise en œuvre sur plusieurs destinations, de quoi nous donner envie !

Les choses se compliquent au chapitre 5 où il est question de routage. C’est le côté ESB de Fluentd. Il faut un peu s’accrocher pour bien saisir les notions de copie d’évènements et surtout de réécriture des tags, car l’outils utilise essentiellement ceux-ci pour le routage, ce qui fait un peu bricolage de mon point de vue. On termine en beauté avec la notion de pipeline qui donne toute sa dimension à Fluentd, mais il faut s’accrocher un peu. Cette seconde partie se referme sur un chapitre 6 consacré au filtrage et à l’enrichissement des évènements. Là encore, on découvre la puissance insoupçonnée du log shipping. Si les filtres nous permettent de déclencher des actions spécifiques sur certains logs, l’enrichissement nous ouvre les portes sur l’ajout d’informations de contexte ou la « rédaction » de logs qui permet d’éliminer de ceux-ci les données à caractère personnel ! Bref, là encore de belles perspectives.

Continuer à lire « Note de lecture : Logging in Action, par Phil Wilkins » →