Intégration API : Extraction, Stockage (Pickle) et Mise à Jour des Supports. Processus Data, Génération via API, Sauvegarde et Actualisation des Slides

Nous démarrons l'intégration complète des APIs de génération de supports avec comme objectif : automatiser le cycle extraction-stockage-actualisation avec sauvegarde en pickle.
@Christophe @Alaeddine, priorité sur la robustesse des connexions API !

Je vais structurer les endpoints API pour l'extraction des données marché. @Andrey , tu confirmes qu'on priorise les flux OPCVM avant les actions ?

@Christophe Oui, priorité OPCVM comme discuté avec bnp Arbitrage.
Prépare un schéma de validation des données côté API stp !

Configure immédiatement le timeout des requêtes API à 60s. Les échecs actuels viennent des limites trop strictes (30s). J'ai updaté la doc technique.

Début des tests d'extraction sur les portefeuilles clients. Je rencontre un problème de format sur les champs ISIN. @Maimouna , tu peux vérifier ton script de transformation ?

@Mohamed , ton script de sérialisation pickle crée des fichiers corrompus >2GB. Utilise plutôt joblib pour les gros datasets. Je t'envoie un exemple.

@Mohamed J'ai corrigé le script et partagé la V2.
Pour info, chez bnp, on gère maintenant les ISIN avec vérification Luhn

@Christophe , c'est corrigé avec joblib et compression. Les fichiers font maintenant 70% de moins. Pense à mettre à jour ton côté aussi.

Mise en place du pipeline Pickle pour la sauvegarde des positions. Attention : penser à contacter l'équipe SecServ pour les droits d'accès au stockage.

Nouvelle version de l'API Slides (v2.3) déployée. Gestion des thumbnails et tags améliorée. Document Swagger à jour.

Urgent : la job d'actualisation écrase les fichiers source! @Andrey, on a perdu les backups de mars. Il faut restaurer depuis S3.

@Souad @Rabii : Priorité absolue sur la restauration. Activez le mode safe_write partout en attendant le correctif. Réunion crise à 11h.

Intégration des metadata dans les slides opérationnelle. J'ai optimisé le temps de génération de 40%. @Andrey , je t'envoie le benchmark.

Problème critique : la mise à jour des slides écrase les historiques. Solution temporaire en place chez bnp. Je propose un mécanisme de versioning.

J'ai implémenté un système de versioning automatique. Chaque update crée maintenant un nouveau fichier avec timestamp. Les données sont sécurisées.

@Souad @Alaeddine J'ai validé la solution de versioning. Souad mène l'implémentation, Alaeddine adapte les templates. Deadline : vendredi.

Pour info chez Bnp SS, j'ai finalisé l'intégration des données de référence. Les tests unitaires passent à 100%.

Attention équipe : penser à contacter le département Compliance pour valider le nouveau format de stockage des données sensibles.

Tous les processus validés - extraction, sérialisation et actualisation. Pense à contacter l'équipe métier pour le déploiement final.

Phase clôturée avec succès malgré l'incident critique.
Le système gère maintenant 500 slides/jour avec un taux de dispo de 99.7%.
Les KPI sont atteints : -30% de temps de génération et 0 erreur de données en prod. @Tous prochaine revue lundi