Contexte
ARIA doit agréger et structurer en continu des informations issues de l’écosystème crypto : actualités, signaux de marché et métriques blockchain, avec une restitution exploitable dans la plateforme.
Retour aux projets
ARIA / NEWS · NLP · AUTOMATION
ARIA — Crypto-News & automatisation
Écosystème Python automatisant la collecte et l’enrichissement de crypto-news, la détection de Hot News, leur consolidation par LLM et l’alimentation continue de données marché et blockchain dans la plateforme ARIA.
VUE D’ENSEMBLE
Comprendre le projet
Objectif
Transformer des flux hétérogènes en objets éditorialisés : news enrichies, Hot News consolidées, scores de marché et métriques token, tous publiés automatiquement via API.
Notre rôle
Concevoir les workers Docker/Python, la collecte RSS et web, la catégorisation métier, la détection de doublons, le regroupement thématique et l’intégration LLM pour les Hot News.
Résultat
Une architecture de services automatisés articulée autour de quatre workers complémentaires : Newsblotter, Hot News / LLM, CoinMarketCap Data et Blockchain Explorer.
ARCHITECTURE
Une chaîne éditoriale et Data en 4 workers
Ce schéma synthétise l’orchestration du Newsblotter principal, la chaîne Hot News enrichie par LLM, puis deux services de données auxiliaires dédiés au marché et aux métriques blockchain.
REPÈRES TECHNIQUES
Les éléments structurants
DÉTAILS TECHNIQUES
Architecture et mise en œuvre
Le cœur du projet repose sur une logique d’ingestion éditoriale en continu, enrichie par du NLP, du regroupement thématique et des services spécialisés pour les données marché et blockchain.
NEWSBLOTTER · INGESTION
Collecte RSS et scraping hybride
- Orchestrateur Python cyclique exécuté dans Docker, avec journalisation et surveillance CPU/RAM.
- Deux canaux de collecte : RSS classiques et sources spéciales nécessitant un scraping dédié.
- Extraction du texte complet des articles, normalisation des dates en UTC et préparation des objets news.
- Usage combiné de
requests, BeautifulSoup, Selenium et Chrome headless selon les sources. - Publication des news enrichies vers ARIA via un worker API dédié.
NLP · ENRICHISSEMENT
Catégorisation, coins et dédoublonnage
- Catégorisation du contenu autour de cinq axes métier : Tokenomics, Risks, Adoption, Governance et Investment Analytics.
- Détection des cryptos concernées à partir de référentiels de tickers et noms de tokens.
- Contrôle des doublons de titres sur une fenêtre de 10 000 news, avec similarité FuzzyWuzzy et seuil de 90 %.
- Détection des Hot News à partir d’un référentiel orienté Actor, TradFi, Action et Crypto.
- Production d’un JSON enrichi prêt à être publié et exploité dans la plateforme.
HOT NEWS · LLM
Regroupement thématique et consolidation éditoriale
- Déclenchement conditionnel lorsqu’une news est identifiée comme Hot News.
- Regroupement des articles similaires sur la base d’au moins 2 tokens communs.
- Consolidation par LLM avec
gpt-4o-minipour générer un article de synthèse et un résumé court. - Mise à jour ou republication de la Hot News dans ARIA, tout en marquant les contenus déjà traités.
- Chaîne conçue pour enrichir la couche éditoriale sans interrompre la collecte principale.
DATA AUXILIAIRE · MARCHÉ
CoinMarketCap et indicateurs de marché
- Worker Selenium dédié à la récupération d’informations de classement et d’exchanges sur CoinMarketCap.
- Préparation d’un JSON intermédiaire puis envoi vers l’API ARIA.
- Gestion de timeouts, de tentatives multiples et d’un rythme d’exécution quotidien.
- Contribution à la base interne source-score utilisée dans la plateforme.
DATA AUXILIAIRE · BLOCKCHAIN
Analyse ERC-20 et métriques token
- Récupération de la coinlist ARIA puis filtrage des actifs sur le réseau ERC-20.
- Interrogation d’Etherscan pour consolider les contract addresses, les decimals, les holders et les données de supply.
- Calcul de métriques publiées dans ARIA : significant holders, circulating supply, total supply, écarts et nombres de pages explorées.
- Service indépendant destiné à enrichir la couche analytique blockchain de la plateforme.
STACK
Technologies utilisées
- Python
- pandas
- NumPy
- requests
- BeautifulSoup
- Selenium
- Chrome headless
- FuzzyWuzzy
- Levenshtein
- Regex
- OpenAI API
- GPT-4o-mini
- JSON
- Docker
- Docker Compose
- REST API
- Etherscan API
- CoinMarketCap