forumNouveau sujet

Utilisation de ChatGPT dans les travaux red team — dans le test pour lequel on a reçu une offre, y en a qui utilisent ça, c'est quoi le risque ?

SSerkan A***Membre actif
Poste
Directeur de la technologie
Secteur
Cosmétique
Type d'organisation
entreprise de taille moyenne
Membre depuis
janv. 2022
Message
13
#1

On planifie un test d'intrusion complet et une simulation Red Team pour l'infra e-commerce et les ERP internes de notre boîte. On a reçu des offres de deux cabinets de cybersécurité différents ; les budgets vont de 90 000 TL à 160 000 TL. Dans un des entretiens techniques, le fait que le cabinet dise ouvertement qu'il s'appuie sur ChatGPT et des outils d'IA générative similaires pour produire des scénarios d'ingénierie sociale et des variantes de codes d'exploitation m'a perturbé.

Je sais que l'IA est utilisée en cybersécurité à des fins offensives et défensives, mais dans un vrai travail Red Team pro à quel point c'est répandu et éthique ? Plus important encore, est-ce que des configs sensibles de nos systèmes des morceaux de code source ou des infos sur les employés internes pourraient être transmis à ces modèles d'IA publics ?

Dans ces tests l'usage d'IA externe est considéré comme une pratique standard du secteur, ou c'est un raccourci qui comporte un risque de fuite de données et de reporting superficiel ? Comment on devrait formuler une clause restrictive là-dessus dans le contrat ?

NNazlı T***Nouveau membre
Poste
Comptable
Secteur
Produits de la mer
Type d'organisation
Entreprise de production de 40 personnes
Membre depuis
mai 2026
Message
32
Plus utile#2

Réponse courte : que les experts Red Team utilisent l'IA pour préparer du phishing d'ingénierie sociale ou retoucher des blocs de code génériques est une pratique qui se répand ; mais charger des données confidentielles, des adresses IP ou du code propriétaire appartenant au client sur des modèles cloud publics, c'est une violation très grave de sécurité et de confidentialité.

Les outils d'IA sont aujourd'hui utilisés dans deux buts : 1) Générer des textes d'e-mail convaincants, grammaticalement parfaits et ciblés lors de la phase d'ingénierie sociale, 2) Accélérer des scripts routiniers ou automatiser la détection de vulnérabilités connues. Le risque principal ici, c'est que le consultant fasse interroger aux modèles publics des logs critiques sur l'architecture interne de votre boîte, la topologie réseau ou du code source en circuit fermé. Ces données peuvent finir dans le pool d'entraînement du modèle ou être stockées sur des serveurs externes et créer une fuite.

Vous devez poser des limites claires dès la phase contractuelle. Faites ajouter à l'accord de confidentialité que vous signerez avec le cabinet la clause : 'Aucune sortie système, code source ou information d'entreprise appartenant au client ne peut être chargé sur des services d'IA accessibles au public'. S'ils veulent faire de l'analyse assistée par IA, exigez qu'ils le fassent avec des modèles isolés, entièrement open source et coupés d'internet, tournant sur leurs propres serveurs locaux.

GGamze K***Membre actif
Poste
Expert en test
Secteur
Imprimerie
Type d'organisation
entreprise individuelle
Membre depuis
janv. 2025
Message
178
#3

Les modèles publics ne peuvent pas produire directement un exploit zero-day à cause des filtres de sécurité. Ce que font les consultants, c'est surtout réorganiser des structures de code connues pour contourner les mécanismes de détection. À part les modèles locaux et isolés, coller du code d'entreprise dans des services cloud est une vulnérabilité inacceptable.

YYasemin K***Membre actif
Poste
Membre du comité de direction
Secteur
Joaillerie
Type d'organisation
coopérative
Membre depuis
févr. 2023
Message
66
#4

Dans le test d'intrusion à 120 000 TL qu'on a fait faire le mois dernier, on a chopé via le trafic de surveillance réseau un expert qui interrogeait un service d'IA public avec les logs d'erreur du réseau interne. On a arrêté le test immédiatement et résilié le contrat. Surveiller la sortie de données de l'équipe d'audit devient malheureusement la responsabilité de l'employeur.

İİlknur G***VétéranMembre de la communauté
Membre depuis
nov. 2024
Message
80
#5

Il faut saluer l'honnêteté du cabinet qui dit clairement qu'il utilise l'IA, mais demander 160 000 TL et faire résoudre la majorité du boulot par un bot avec des prompts tout faits, c'est du gaspillage. La logique Red Team c'est l'esprit créatif humain ; les attaques sur template, les scanners automatiques les font déjà.

OOya I***Membre actif
Poste
Membre du conseil d'administration
Secteur
Cosmétique
Type d'organisation
Entreprise de production de 40 personnes
Membre depuis
août 2023
Message
225
#6

Faire analyser la boîte cible par l'IA puis facturer du conseil Red Team, c'est un business rentable. Quand le rapport est livré faites gaffe aux structures de phrases ; vérifiez qu'ils n'ont pas copié-collé des réponses de bot génériques dans le résultat.

KKemal G***Membre actifMembre de la communauté
Membre depuis
nov. 2025
Message
5
#7

s'ils utilisent des modeles qui tournent sur serveur local et coupes d'internet y a auucn souci mais s'ils envoient des donnees vers un cloud externe la confidentialite c'est fini puis franchement faites mettre une clause penale severe dans le contrat.

GGürkanMembre actif
Poste
Secteur de l'énergie
Type d'organisation
agence boutique
Membre depuis
nov. 2023
Message
94
#8

Conformément à la loi sur la protection des données personnelles et aux normes de sécurité de l'information, le transfert de données d'employés ou de clients obtenues lors du test vers des plateformes d'IA hébergées sur des serveurs basés à l'étranger constitue une violation manifeste de la réglementation. Cette situation peut faire courir à votre entreprise un risque d'amende administrative.

SSultan K***Membre actif
Poste
Planification logistique
Secteur
Grossiste alimentaire
Type d'organisation
startup en phase de lancement
Membre depuis
déc. 2025
Message
105
#9

Votre inquiétude est tout à fait légitime. Demandez absolument un document de méthodologie de test aux entreprises qui vous font une offre. Exigez qu'elles s'engagent par écrit sur les outils utilisés, à quelle étape et avec quelles mesures de sécurité des données. Une entreprise professionnelle n'hésitera pas à le documenter.

IIrmak B***Expert
Poste
Directeur financier
Secteur
Logistique
Type d'organisation
filiale d'un groupe
Membre depuis
juil. 2023
Message
150
#10

Je trouve difficile d'être aussi catégorique côté red team chatgpt. Les environnements de test oubliés sont plus souvent des portes d'entrée que les systèmes de production.

Aucun processus sans suivi ne s'améliore car vous ne savez pas quoi corriger. C'est confirmé par l'expérience.

ZZübeyde K***Membre actif
Poste
Responsable des achats
Secteur
Sport et fitness
Type d'organisation
entreprise familiale
Membre depuis
févr. 2025
Message
165

Doki · Site web d'entreprise · 2026

#11

chez nous aussi.

HHüseyin K***Membre actifMembre de la communauté
Membre depuis
janv. 2024
Message
368
#12

Résumé rapide pour les nouveaux : Si c'est une première, commencez petit, l'échelle viendra plus tard.

Voilà désolé si je me suis étendu.

OOrhan E***Membre actif
Poste
Responsable export
Secteur
Droit
Type d'organisation
chaîne de magasins
Membre depuis
déc. 2025
Message
91

Doki · Scan de vulnérabilités · 2023

#13

Merci de partager le résultat. Tout point non écrit est un point que les deux parties se rappelleront différemment plus tard.

J'espère que cela vous sera utile.

NNilMembre actif
Poste
Responsable de contenu
Type d'organisation
filiale d'un groupe
Membre depuis
avr. 2024
Message
156
#14

Exact. Une modification des coordonnées bancaires n'est jamais confirmée par le canal d'origine.

Quand on décide sans mesurer, on revient toujours au même point.

BBatuhanMembre actif
Poste
Développeur freelance
Membre depuis
févr. 2024
Message
128
#15

J'ai vécu exactement la même chose il y a deux ans. Aucun processus sans suivi ne s'améliore, car vous ne savez pas quoi corriger.

Bien sûr, cela change si votre situation est différente.

SSelin Y***Vétéran
Poste
Comptabilité préliminaire
Secteur
Immobilier
Type d'organisation
Entreprise de 120 personnes
Membre depuis
sept. 2024
Message
111
#16

Je suis d'accord j'aimerais même souligner ce point. Prendre des notes pendant deux semaines donne de meilleurs résultats qu'une estimation de six mois.

TTolga Y***Expert
Poste
Responsable export
Secteur
Imprimerie
Type d'organisation
chaîne de magasins
Membre depuis
août 2023
Message
3
#17

Je vais défendre l'opposé, ne m'en veuillez pas. Si vous grondez les fausses alertes, plus personne ne signalera rien.

À votre place, j'irais par cette voie.

AAli R***Expert
Poste
Business angel
Type d'organisation
entreprise à deux succursales
Membre depuis
juin 2023
Message
192
#18

C'est globalement vrai, mais il manque un point. Si vous obtenez trois réponses différentes sur un sujet, la question est mal posée.

Si le chemin de notification est long, la notification n'arrive pas ; une notification manquante signifie un événement détecté tardivement. Bien sûr, cela change si votre situation est différente.

BBurcuMembre actif
Poste
Développeur front-end
Membre depuis
sept. 2024
Message
96
#19

c'est noté, merci.

TTayfunVétéran
Poste
Dirigeant de société de logiciels
Membre depuis
mai 2023
Message
228

Doki · Infrastructure e-commerce · 2024

#20

Absolument. Si j'ajoute quelque chose : La plupart des pertes de temps s'accumulent sur les tâches en attente de validation.

Si vous avez des questions écrivez-moi je répondrai au mieux.

Répondre