Utilizzo di ChatGPT nelle attività di Red Teaming: chi ci ha fatto la proposta potrebbe usarlo? Quali sono i rischi?

I modelli pubblici, per via dei filtri di sicurezza integrati, non possono generare direttamente exploit zero-day. Ciò che i consulenti fanno solitamente è riadattare strutture di codice note per eludere i sistemi di rilevamento. A parte l'uso di modelli locali e isolati, incollare codice aziendale su servizi cloud pubblici è una vulnerabilità inaccettabile.

Durante un penetration test da 120.000 TL svolto il mese scorso, analizzando il traffico di rete ci siamo accorti che un analista stava incollando i log di errore della nostra rete interna su un servizio di IA pubblico. Abbiamo interrotto immediatamente il test e rescisso il contratto. Monitorare i dati in uscita del team di audit sta purtroppo diventando una responsabilità del committente.

Va apprezzata l'onestà della società che dichiara apertamente di usare l'IA, ma chiedere 160.000 TL per poi far fare gran parte del lavoro a un bot tramite prompt preconfezionati è una presa in giro. Il senso del Red Teaming sta proprio nell'intuito e nella creatività umana; per gli attacchi standard esistono già gli scanner automatici.

Far analizzare l'azienda target all'IA e poi fatturarla come consulenza di Red Team è un bel business. Quando vi consegnano il report leggete bene le frasi, che non abbiano fatto un semplice copia-incolla delle risposte del bot nelle conclusioni.

se usano modelli in lcale su server senza accesso a internet nessun problema ma se mandano dati a un cloud esterno la riservatezza va a farsi benedire... fate mettere penali pesantissime nel contratto.

Ai sensi della Kişisel Verilerin Korunması Kanunu e degli standard di sicurezza delle informazioni, il trasferimento su piattaforme di intelligenza artificiale con server all'estero di dati di dipendenti o clienti ottenuti durante i test costituisce una chiara violazione normativa. Questa situazione può esporre la vostra azienda al rischio di sanzioni amministrative pecuniarie.

La sua preoccupazione è assolutamente legittima. Richieda assolutamente alle aziende che presentano un'offerta il documento sulla metodologia di test. Esiga un impegno scritto su quali strumenti utilizzano, in quale fase e con quali misure di sicurezza dei dati. Un'azienda professionale non esiterà a metterlo nero su bianco.

Secondo me è difficile essere così netti sul lato red team chatgpt. Gli ambienti di test dimenticati diventano spesso un punto d'accesso più frequente del sistema live.

Nessun processo migliora senza tracciamento perché non sai cosa correggere. Confermato dall'esperienza.

anche da noi è così.

Breve riassunto per i nuovi arrivati: Se è la prima volta, inizia in piccolo, il ridimensionamento viene dopo.

È tutto, scusate se mi sono dilungato.

Mi farebbe piacere se scrivesse il risultato. Ogni punto non scritto è un punto che in futuro le due parti ricorderanno diversamente.

Spero che le sia utile.

Corretto. Le modifiche ai dati di pagamento non vanno mai verificate tramite il canale di provenienza.

Quando decidiamo senza misurare finiamo sempre nello stesso punto.

Ho vissuto la stessa cosa due anni fa. Nessun processo migliora senza tracciamento, perché non sai cosa correggere.

Naturalmente cambia se la vostra situazione è diversa.

Sono d'accordo anzi vorrei sottolinearlo. Prendere appunti per due settimane dà risultati migliori rispetto a una stima di sei mesi.

Sosterrò l'opposto, non prendetela male. Se rimproverate i falsi allarmi, nessuno segnalerà più nulla.

Io seguirei questa strada.

In generale è corretto, ma manca un pezzo. Se ricevete tre risposte diverse su un argomento, la domanda è posta male.

Se il percorso di notifica è lungo, la notifica non arriva; una notifica mancante significa un evento scoperto tardi. Naturalmente cambia se la vostra situazione è diversa.

preso nota grazie.

Assolutamente. Se devo aggiungere qualcosa: Gran parte del tempo perso si accumula nelle pratiche in attesa di approvazione.

Se avete domande, scrivete, rispondo per quanto possibile.