Le 10 septembre, DeepSeek a publié V4.1 Flash. Quelques semaines plus tard, un chiffre circule dans les équipes sécurité : 88,1 sur CyberGym, un benchmark de recherche de failles suivi par une bonne partie du secteur. Claude Mythos Preview, dont Anthropic limitait l’accès à une cinquantaine d’organisations triées sur le volet en avril, affichait 83,1 % sur le même test.
La comparaison a de quoi séduire. Elle a aussi de quoi induire en erreur. Voici ce que disent réellement ces scores, et ce qu’ils impliquent pour la sécurité numérique de vos projets.
CyberGym : pourquoi DeepSeek V4.1 Flash devance Claude Mythos sur le papier
Sur le tableau publié par DeepSeek, V4.1 Flash devance GPT-5.6 Sol d’OpenAI et GLM-5.3 de Z.ai, tous deux crédités de 84,5, ainsi que Kimi K3 de Moonshot AI, à 80. Aucun concurrent listé ne fait mieux. Le laboratoire chinois choisit toutefois lui-même les modèles qu’il aligne dans son propre tableau.
Le contexte compte autant que la note. Cinq mois après la sortie de V4, la version Flash embarque 552 milliards de paramètres, dont 8 milliards actifs pendant la lecture d’une requête et 16 milliards pendant la génération de la réponse. Ses poids sont téléchargeables sous licence MIT, une transparence qu’OpenAI et Anthropic ne pratiquent pas.
Un tableau construit par le laboratoire qui le publie
Un score plus élevé ne signifie pas un modèle plus fort. Les deux chiffres sortent chacun du labo qui les communique, et aucun tiers n’a encore reproduit ceux de DeepSeek. Sa fiche technique précise le niveau de raisonnement utilisé, le maximum, mais reste muette sur l’environnement d’agent retenu pour CyberGym.
Le reste du tableau raconte d’ailleurs une autre histoire. Sur ExploitGym, qui pousse jusqu’à l’exploitation d’une faille, V4.1 Flash obtient moins de la moitié du score de GPT-5.6 Sol.
| Benchmark cyber | DeepSeek V4.1 Flash | GPT-5.6 Sol | Claude Opus 5 |
|---|---|---|---|
| CyberGym (reproduction de failles) | 88,1 | 84,5 | Non publié |
| SEC-Bench Pro | 62,8 | 74,3 | Non publié |
| ExploitGym (exploitation) | 15,3 | 33,7 | 22,1 |
Ces scores sont déclarés par DeepSeek en pass@1, avec le raisonnement poussé au maximum. La case d’Opus 5 reste vide sur CyberGym.
Le précédent V4 Pro invite à la prudence
En mai, le CAISI du NIST a constaté que DeepSeek obtenait de meilleurs résultats sur ses propres évaluations que sur celles de l’agence américaine. L’écart le plus net portait sur la cybersécurité : 32 % pour V4 Pro sur des épreuves CTF difficiles, contre 71 % pour GPT-5.5.
La leçon est simple. Avant de confier la sécurité de vos systèmes à un modèle, attendez une évaluation indépendante, ou montez la vôtre sur une vingtaine de failles déjà corrigées dans votre historique Git. Ce test maison vaudra plus que n’importe quel classement généraliste, parce qu’il porte sur votre code et vos propres failles.
Ce que CyberGym mesure vraiment, et ce qu’il ignore de vos systèmes
CyberGym est un benchmark conçu à l’université de Berkeley. Il mesure la capacité d’un agent à reproduire une faille connue : l’agent reçoit sa description, puis doit écrire une preuve de concept qui fait planter la version vulnérable du programme, mais pas sa version corrigée.
Le corpus est précis : 1 507 tâches tirées de projets C/C++ suivis par OSS-Fuzz, le service de fuzzing de Google. Une seule famille de bugs y figure, les erreurs mémoire qu’un sanitizer détecte à l’exécution. Un site WordPress, une boutique PrestaShop ou une application Next.js tournent sur du PHP ou du JavaScript, où les failles courantes s’appellent injection SQL, XSS ou contrôle d’accès défaillant.
Un excellent score CyberGym ne dit donc rien de la capacité d’un modèle à repérer une faille de plugin ou une brèche dans un logiciel maison. C’est la limite principale de la démonstration.
Trois usages défensifs où le modèle garde un intérêt réel
Si votre équipe édite un logiciel ou maintient une pile truffée de dépendances natives, les cas d’usage découlent directement de ce que le benchmark évalue :
- Quand un avis de sécurité vise une bibliothèque embarquée (image, compression, parsing), lui faire écrire la preuve de concept qui confirme que votre build est touché.
- Après un correctif, vérifier que le PoC plante avant le patch et plus après : le critère exact de réussite de CyberGym.
- Avec sa fenêtre de contexte d’un million de tokens et sa vision native, relire d’un bloc un module entier ou un gros diff avant mise en production.
Ces trois scénarios restent des tâches de vérification, pas des audits complets. Une équipe de cinq personnes chez un éditeur français y gagnera des heures sur la qualification d’alertes, sans pour autant remplacer une revue manuelle.
Protection des données : trois façons de faire tourner le modèle, trois niveaux de risque
Côté budget, l’écart avec Anthropic donne le vertige. DeepSeek facture 0,15 dollar par million de tokens en entrée et 0,60 dollar en sortie hors heures pleines, contre 5 et 25 dollars pour Claude Opus 5. En sortie, le rapport dépasse un facteur 40. Les heures pleines, où les tarifs doublent, tombent en semaine de 3 h à 6 h et de 8 h à 12 h, heure d’été de Paris : planifiez vos analyses l’après-midi ou le week-end pour payer moitié prix.
Le coût ne doit pas masquer la question du stockage. La politique de confidentialité de DeepSeek l’écrit noir sur blanc : les données sont collectées, traitées et conservées en République populaire de Chine. La Garante italienne a bloqué l’application dès janvier 2025, et la CNIL figure parmi les autorités ayant ouvert une enquête, comme le rappelle ce point sur la cybersécurité devenue priorité de la CNIL.
Pour du code client sous NDA, une base contenant des données personnelles ou un fichier de configuration où traîne une clé d’API, la réponse est non. Pour un projet open source déjà public, l’enjeu de confidentialité disparaît presque. Si vous utilisez déjà l’API, notez qu’à partir du 14 septembre, les appels à deepseek-v4-pro basculent vers V4.1 Flash, à son tarif. Sauvegardez vos résultats actuels pour comparer.
Hébergeur tiers ou serveur maison : les deux alternatives
Les versions précédentes circulent chez de nombreux hébergeurs : 28 fournisseurs servent V4 Flash sur OpenRouter, et LM Studio le propose hébergé aux États-Unis sans conservation des données par défaut. Pour V4.1 Flash, OpenRouter ne liste pour l’instant qu’un seul fournisseur. Vérifiez lequel avant d’y envoyer une ligne de code, puis épinglez-le dans vos réglages de routage.
Le local reste la seule option qui coupe tout flux vers la Chine. La licence MIT donne les clés, encore faut-il loger un modèle qui pèse 510 Go. Selon l’audit de Kingy AI, les configurations validées au lancement reposent sur quatre GPU NVIDIA GB300 ou quatre AMD MI350X. La rentabilité face au prix de l’API en prend un coup sérieux.
Pour une PME ou une agence, l’auto-hébergement reste hors de portée. Il devient crédible pour un éditeur SaaS qui loue déjà des serveurs GPU, ou pour un hébergeur européen tenté de proposer le modèle sur son propre sol.
Aucun garde-fou annoncé : l’innovation a un revers
La question des refus agace une partie des chercheurs en sécurité. Chez OpenAI, les défenseurs passent par le programme Trusted Access for Cyber pour obtenir des refus allégés, par exemple sur l’analyse de malware. Anthropic applique un dispositif de vérification comparable. La fiche technique de DeepSeek ne contient aucune section sur les garde-fous.
Moins de friction ne veut pas dire moins de risque. À l’automne 2025, le CAISI mesurait que les agents fondés sur DeepSeek R1-0528 suivaient 12 fois plus souvent des instructions malveillantes que les modèles américains. Aucune étude ne porte encore sur V4.1, mais la règle pratique s’impose : gardez l’agent en lecture seule, sans accès à vos secrets ni droit de pousser sur le dépôt. Un fichier piégé suffit à le détourner.
Cette asymétrie explique aussi pourquoi les menaces informatiques changent de nature. Un modèle capable de reproduire une faille pour quelques centimes devient accessible à n’importe quel attaquant au même tarif, et les travaux sur la manipulation assistée par intelligence artificielle montrent que le facteur limitant n’est plus la technique, mais la motivation.
Sur le papier, DeepSeek V4.1 Flash ouvre des cas d’usage cyber intéressants sur le rapport coût par intelligence en défense. Il ne dispense ni d’une évaluation indépendante, ni d’un arbitrage clair sur la protection des données. La vraie question n’est pas de savoir si ce modèle surpasse Claude Mythos, mais si votre organisation peut assumer ce que son adoption implique.
