Le moment Phoenix des perroquets stochastiques : vers une IA subsymbolique et hybride par Maxime Derian (reformulé clairement avec ChatGPT)

Une innovation freinée par l'effet d'échelle ?

L'intelligence artificielle (IA) traverse une phase de transition critique. Après des années de domination des modèles massifs d'apprentissage supervisé, tels que les grands modèles de langage (LLM) à la OpenAI, l'industrie semble atteindre une asymptote dans les gains obtenus par la simple augmentation de la taille des modèles. Sam Altman lui-même, PDG d'OpenAI, a reconnu que le projet Orion (initialement GPT-5) n'a pas répondu aux attentes.

Ce constat marque un tournant : l'effet d'échelle, longtemps moteur de l'innovation en IA, montre ses limites.

Face à ce ralentissement, une nouvelle voie émerge : celle des architectures hybrides et subsymboliques, combinant connexionnisme et structuration logique. Ces approches visent à dépasser les défis actuels en s'appuyant sur des mécanismes plus économes en ressources et capables d'une meilleure généralisation.

- Et pour lecteurs qui veulent lire cela en musique je vous propose un morceau fait sans IA -

(Phoenix - Identical, 2023) 🎶 : https://youtu.be/aZprdeSNnpU?si=8zL6NTy3kpakThmn

Des perroquets stochastiques aux agents adaptatifs

Les critiques envers les LLMs, souvent qualifiés de "perroquets stochastiques", soulignent leur incapacité à véritablement raisonner ou comprendre. Cependant, ces modèles ne sont pas conçus pour "raisonner" au sens humain du terme.

Un logiciel ne "raisonne" pas, c'est un abus de langage un peu facile.

Le "raisonnement", en philosophie, par exemple pour Hegel (que je reprends bien volontiers), c'est le mouvement par lequel la conscience évolue à travers des étapes successives, en intégrant et en dépassant ses contradictions internes. L'auto-engendrement de "La Vérité" "Selbst Bewegung des Wahreit" une formulation un peu grandiloquente pour signifier des itérations successives (certes comme en Chain of Thought) mais qui, elles, émergent à une véritable "conscience", un esprit réflexif capable de percevoir l'idée même de vérité (ce que ne fait pas l'IA aujourd'hui).

Ce processus dépeint par #Hegel marqué par la négativité et son dépassement (un peu comme toutes nos idées négatives quotidiennes, pour une fourchette de 60 000 à 80 000 pensées par jour par humain moyen pendant l'éveil, la fourchette de pensées négatives serait entre 42 000 et 56 000 pensées !) et où chaque stade de la conscience nie le précédent tout en le conservant sous une forme transformée, jusqu'à atteindre le "savoir absolu" ... Bref nous sommes philosophiquement loin quand même d'un llm (mais aussi du brouhaha médiatique des réseaux sociaux et des news people... !).

Le fonctionnement des LLMs d'aujourd'hui, selon moi,repose sur un "calcul matriciel probabiliste incrémental" (CMPI): une manipulation dynamique de matrices vectorielles pour estimer les distributions de probabilité dans un contexte donné.

Ce paradigme statistique est puissant, mais il atteint ses limites lorsqu'il s'agit de tâches complexes nécessitant une structuration logique ou une planification.

Pour "changer le plumage" de ces perroquets, plusieurs pistes émergent :

• Méthodes subsymboliques : Intégrer des mécanismes comme les modèles de Markov cachés (HMM) ou les algorithmes Monte-Carlo pour moduler dynamiquement les pondérations.
• Approches hybrides subsymboliques  : Fusionner réseaux neuronaux et systèmes symboliques pour capturer à la fois la puissance du calcul connexionniste et la rigueur logique des graphes de connaissances.
• Régularisations topologiques : Structurer les représentations latentes des modèles via des graphes inspirés des relations sémantiques.

Compression et modularité : réduire l'échelle sans sacrifier la performance

- J'ai été aidé beaucoup par Perplexity - O1- mini pour cette partie proposant des pistes techniques pour penser une meilleur compression de la factorisation matricielle et des pistes pour des poids dynamiques -

Un défi clé pour ces nouveaux paradigmes est de maintenir des performances élevées tout en réduisant la taille et la complexité des modèles. Voici quelques pistes prometteuses :

1. Factorisation matricielle compressée

La compression via des techniques comme la décomposition en valeurs singulières (SVD) permet de réduire le nombre de paramètres tout en conservant l'essentiel des informations. Deux approches méritent attention :

• SVD dynamique : Adapter les matrices en temps réel selon les besoins spécifiques d'une tâche.
• Rank-tuning adaptatif : Ajuster dynamiquement le rang des matrices après entraînement pour optimiser le compromis entre compression et performance.

2. Pruning biologique dynamique

Inspirée par la plasticité synaptique du cerveau humain, cette méthode consiste à élaguer les connexions inutiles en temps réel. Cela réduit non seulement la taille du modèle, mais améliore également son efficacité computationnelle.

3. Mémoire hiérarchique compressée

Stocker uniquement les informations essentielles sous forme compressée tout en permettant leur récupération rapide est une idée issue du fonctionnement biologique. Cette approche pourrait être particulièrement utile pour gérer des données synthétiques ou contextuelles.

Architectures adaptatives : vers un traitement en temps réel

Pour dépasser l'asymptote actuelle, il est nécessaire d'adopter des architectures capables d'adaptation dynamique :

• Poids dynamiques : Réajuster les pondérations neuronales selon le contexte ou la tâche via une rétropropagation dynamique.
• Propagation de croyances sur graphes bayésiens : Offrir une approche hybride où les relations causales sont explicitement modélisées tout en bénéficiant de la flexibilité connexionniste.
• Apprentissage actif et continu : Permettre aux modèles d'apprendre en permanence à partir de données limitées mais pertinentes.

Pour aller plus loin dans cette réflexion

Plusieurs techniques émergentes et complémentaires méritent d’être explorées.

Ici aussi j'ai utilisé O1-mini sur Perplexity et son aide m'a semblé très pertinente !

1. Compression multi-décomposition : Une approche sur mesure

Les méthodes traditionnelles de compression, comme la factorisation matricielle par SVD, appliquent une seule technique à l’ensemble des couches d’un modèle. Cependant, chaque couche d’un réseau présente des caractéristiques structurelles spécifiques qui pourraient bénéficier de traitements différenciés :

- Décomposition multi-méthodes : En combinant plusieurs techniques de décomposition (comme SVD, Nyström ou CR decomposition), il est possible d’adapter la compression à chaque couche selon ses besoins spécifiques. Par exemple, les couches proches de l’entrée pourraient privilégier une décomposition fine pour capturer les détails, tandis que les couches plus profondes pourraient se concentrer sur des représentations globales.

- Optimisation conjointe : Une approche basée sur l’apprentissage par renforcement (comme le LMFBRL) pourrait sélectionner dynamiquement la meilleure méthode de décomposition et le rang optimal pour chaque couche, équilibrant précision et coût de compression.

2. Poids dynamiques enrichis par Fisher Information

Une amélioration notable des techniques de compression matricielle repose sur l’intégration de l’information de Fisher dans le processus de factorisation. Cette méthode pondère les paramètres en fonction de leur contribution à la performance globale du modèle, permettant :

- Une réduction ciblée des paramètres moins critiques.

- Une meilleure conservation des capacités prédictives après compression.

3. Pruning structurel dynamique

Inspiré par des approches récentes comme le Dynamic Structure Pruning, ce mécanisme va au-delà du simple élagage statique. Il introduit une granularité dynamique qui s’adapte en temps réel :

- Pruning intra-canal différentiable : Plutôt que d’éliminer uniformément des connexions ou des canaux, cette méthode optimise les groupes de filtres ou de connexions via un apprentissage basé sur les gradients. Cela permet une gestion fine des ressources à chaque étape du calcul.

- Réduction adaptative du coût FLOPs : En ajustant dynamiquement les structures réseau en fonction des besoins computationnels, cette méthode peut réduire jusqu’à 70 % des coûts sans sacrifier significativement la précision.

4. Modularité via CoCoMix

L'intégration du Continuous Concept Mixing (CoCoMix) dans les représentations latentes offre une nouvelle dimension à la compression :

- Concepts continus pour la réduction dimensionnelle : CoCoMix peut être utilisé pour identifier et intercaler des concepts clés dans les couches intermédiaires du modèle. Ces représentations réduisent la redondance tout en préservant l’essentiel de l’information.

- Compression guidée par concepts : En priorisant les dimensions conceptuelles pertinentes pour une tâche donnée, CoCoMix pourrait guider efficacement le processus de factorisation ou d’élagage.

5. Alternance entraînement-compression

Enfin, une approche itérative qui alterne entre mise à jour des paramètres et compression progressive peut éviter le besoin de réentraînement complet après compression :

- Chaque couche est compressée après mise à jour de ses paramètres via la fonction de perte.

- Ce processus cyclique garantit une convergence optimale tout en maintenant un modèle compact..

Conclusion : un pivot stratégique pour l'IA générative ?

L'industrie pivote clairement vers des modèles plus intelligents dans leur conception que massifs dans leur échelle.

La démarche de Stanislas Polu et de Ilya Sutskever de tout mettre en entraînement sans trier et de fine tuner ensuite en augmentent toujours la puissance de calcul arrive au bout.

Cette méthode gourmandise en #GPU a bien fonctionné mais ma toujours rappelé la méthode du Pr. Shadoko :

"Sous la direction du Professeur SHADOKO, les Shadoks ont construit une fusée interplanétaire.Elle était munie des derniers perfectionnements techniques tels que casseroles à retardement, batteurs d'air et tire-bouchons hypersustentateurs. La seule difficulté, c'est qu'elle ne marchait que d'un côté: de haut en bas uniquement, car les Shadoks n'avaient pas de carburant suffisamment puissant."

Nous l'avons bien vu avec "le moment DeepSeek" qui a montré avec une approche plus économe une autre perspective que le seul effet d'échelle d'accumulation pêle-mêle de données comme la fusée Shadock pouvait être repensé.

Les approches hybrides subsymboliques permettent d'exploiter au mieux les capacités computationnelles tout en introduisant une structuration logique émergente. Ce changement stratégique ne vise pas à imiter le raisonnement humain, mais à optimiser le traitement probabiliste matriciel dans un cadre dynamique.

Les défis restent nombreux car cest loin d'être simple à mettre en œuvre :

• Intégrer harmonieusement symbolisme et connexionnisme.
• Maintenir une capacité de généralisation élevée avec moins de données.
• Garantir une efficacité computationnelle pour un usage intensif.

Cependant, cette transition pourrait marquer un moment "phoenix" pour l'IA au moment où l'on se heurte au mur asymptotique de la progression hyperbolique du l'effet d'échelle : celui où, pour éviter le point d'inflexion vers une perte d'accélération de croissance, le perroquet stochastique mute ( tel un phoenix) se transforme en un agent adaptatif sophistiqué, capable non seulement de prédire mais aussi d'interpréter et d'agir dans un monde complexe et incertain.

En conclusion, nous assistons à une évolution passionnante où l'innovation ne se mesure plus seulement à l'échelle des modèles, mais à leur capacité à s'adapter et à raisonner (ou plutôt "calculer") avec finesse.

Citations :

Les Shadoks, épisode 5

https://vodkaster.telerama.fr/series-tv/les-shadoks/60709/s01e05

G. W. Hegel La Phénoménologie de l’Esprit (traduit par Jean Hyppolite)

https://archive.org/details/1HYPPOLITEPHENOMENOLOGIEND

[1] [PDF] A Computational Study of Matrix Decomposition Methods for ... https://aclanthology.org/2023.paclic-1.73.pdf [2] [PDF] Dynamic Structure Pruning for Compressing CNNs https://ojs.aaai.org/index.php/AAAI/article/view/26127/25899 [3] Hierarchical temporal memory - Wikipedia https://en.wikipedia.org/wiki/Hierarchical_temporal_memory [4] Understanding Hierarchical Temporal Memory: The Key to ... https://instadatahelp.com/understanding-hierarchical-temporal-memory-the-key-to-unleashing-ais-full-potential/ [5] MoDeGPT: Modular Decomposition for Large Language Model ... https://openreview.net/forum?id=8EfxjTCg2k [6] Dynamic Pruning of CNN networks - Irida Labs https://iridalabs.com/dynamic-pruning-cnn-networks/ [7] [PDF] A MULTI-DECOMPOSITION METHOD FOR COMPRESSING ... https://openreview.net/pdf?id=cO01zqImBC [8] Dynamic pruning of a neural network via gradient signal-to-noise ratio https://www.amazon.science/publications/dynamic-pruning-of-a-neural-network-via-gradient-signal-to-noise-ratio [9] Model compression - Wikipedia https://en.wikipedia.org/wiki/Model_compression [10] Lossless Model Compression via Joint Low-Rank Factorization ... https://arxiv.org/abs/2412.06867 [11] [PDF] HIERARCHICAL MEMORY NETWORKS - OpenReview https://openreview.net/pdf?id=BJ0Ee8cxx [12] 4 Popular Model Compression Techniques Explained - Xailient https://xailient.com/blog/4-popular-model-compression-techniques-explained/ [13] [2303.09736] Dynamic Structure Pruning for Compressing CNNs https://arxiv.org/abs/2303.09736 [14] HMT: Hierarchical Memory Transformer for Efficient Long Context ... https://arxiv.org/abs/2405.06067 [15] Low-Rank Matrix Factorization for Deep Neural Network Compression https://www.mdpi.com/2076-3417/13/4/2704 [16] A Comprehensive Guide to Neural Network Model Pruning - Datature https://www.datature.io/blog/a-comprehensive-guide-to-neural-network-model-pruning [17] A Machine Learning Guide to HTM (Hierarchical Temporal Memory) https://www.numenta.com/blog/2019/10/24/machine-learning-guide-to-htm/ [18] (PDF) The Compression Techniques Applied on Deep Learning Model https://www.researchgate.net/publication/362437757_The_Compression_Techniques_Applied_on_Deep_Learning_Model [19] A Dynamic Pruning Method on Multiple Sparse Structures in Deep ... https://ieeexplore.ieee.org/document/10103462/ [20] Hierarchical Memory Systems: | ( Zen ) Jason MacNaughton - LinkedIn https://www.linkedin.com/pulse/hierarchical-memory-systems-zen-jason-macnaughton-dzqsc [21] A Highly Effective Low-Rank Compression of Deep Neural Networks ... https://arxiv.org/abs/2111.15179 [22] [PDF] Dynamical Conventional Neural Network Channel Pruning by ... https://www.frontiersin.org/journals/computational-neuroscience/articles/10.3389/fncom.2021.760554/pdf [23] MoDeGPT: Modular Decomposition for Large Language Model ... https://arxiv.org/abs/2408.09632 [24] A Dynamic AI Approach to Efficient and Scalable LLM Optimization https://www.marktechpost.com/2025/01/13/apple-researchers-introduce-instruction-following-pruning-ifpruning-a-dynamic-ai-approach-to-efficient-and-scalable-llm-optimization/ [25] Enhancing Long-Term Memory using Hierarchical Aggregate Tree ... https://arxiv.org/abs/2406.06124 [26] Model Compression Techniques: Keeping Your AI Lean and Mean https://www.linkedin.com/pulse/model-compression-techniques-keeping-your-ai-lean-mean-raja-2vypc [27] Hybrid Dynamic Pruning: A Pathway to Efficient Transformer Inference https://arxiv.org/abs/2407.12893 [28] Model Compression: A Survey of Techniques, Tools, and Libraries https://unify.ai/blog/model-compression [29] What are the most effective techniques for pruning AI models? https://www.linkedin.com/advice/3/what-most-effective-techniques-pruning-0mlef [30] AI Model Compression Techniques - Part I: Reducing Complexity ... https://arbisoft.com/blogs/ai-model-compression-techniques-reducing-complexity-without-losing-accuracy [31] DyFiP: explainable AI-based dynamic filter pruning of convolutional ... https://dl.acm.org/doi/10.1145/3517207.3526982 [32] Continual Learning, Modularity, Compression, and Biological Brains https://www.lesswrong.com/posts/fHnwCDDbDHWqbJ8Nd/eis-x-continual-learning-modularity-compression-and [33] Hierarchical Models - Lark https://www.larksuite.com/en_us/topics/ai-glossary/hierarchical-models [34] [PDF] Unified Dynamic and Static Channel Pruning for Convolutional ... https://openaccess.thecvf.com/content/CVPR2024/papers/Gao_BilevelPruning_Unified_Dynamic_and_Static_Channel_Pruning_for_Convolutional_Neural_CVPR_2024_paper.pdf [35] explainable ai-based dynamic filter pruning of convolutional neural... https://openreview.net/forum?id=vQmIksuciu2 [36] [PDF] Explainable AI-based Dynamic Filter Pruning of Convolutional ... https://2022.euromlsys.eu/pdf/euromlsys22-final20.pdf [37] How GPU Memory Hierarchy Affects Your Computing Experience https://www.digitalocean.com/community/tutorials/the-hidden-bottleneck-how-gpu-memory-hierarchy-affects-your-computing-experience