ChatGPT im Red Teaming — nutzt das der Dienstleister in unserem Angebot und welche Risiken drohen?

Öffentliche Standardmodelle blockieren wegen Sicherheitsfiltern ohnehin das Erstellen echter Zero-Day-Exploits. Berater nutzen sie meistens nur, um bekannte Payloads so umzuschreiben, dass Signatur-Scanner umgangen werden. Abseits lokal isolierter LLMs hat Firmenquellcode in Cloud-Chats absolut nichts verloren.

Letzten Monat haben wir bei einem Pentest für 120.000 TL über die Netzwerküberwachung bemerkt, dass ein Analyst interne Error-Logs in einen öffentlichen KI-Dienst paste-te. Wir haben den Test sofort abgebrochen und den Vertrag gekündigt. Am Ende muss man als Auftraggeber mittlerweile sogar die Prüfer überwachen.

Man muss die Firma für ihre Offenheit loben, aber 160.000 TL aufzurufen und dann Standardprompts durch den Bot zu jagen, ist frech. Red Teaming lebt von menschlicher Kreativität; automatisierte Standardscans kriegt jedes Tool alleine hin.

Das Zielunternehmen von einer KI analysieren lassen und am Ende eine teure Red-Team-Rechnung schreiben – nettes Geschäftsmodell. Schaut euch den Abschlussbericht genau an, nicht dass da einfach generierte Bot-Antworten einkopiert wurden.

wenn das komplett offline auf nem lokalen server läuft spricht absolut nix dagegen aber sobald daten in ne fremde cloud gehen ist datenschutz im eimer. lasst saftige koonventionalstrafen in den vertrag schreiben.

Gemäß dem Gesetz zum Schutz personenbezogener Daten und den Informationssicherheitsstandards ist die Übertragung von Mitarbeiter- oder Kundendaten, die während des Tests erhoben werden, an KI-Plattformen, die auf Servern im Ausland gehostet werden, ein klarer Verstoß gegen die Vorschriften. Dies kann für Ihr Unternehmen das Risiko einer Verwaltungsstrafe mit sich bringen.

Ihre Sorge ist absolut berechtigt. Verlangen Sie von den anbietenden Firmen unbedingt ein Dokument zur Testmethodik. Fordern Sie eine schriftliche Zusage darüber welche Tools sie in welcher Phase und mit welchen Datensicherheitsmaßnahmen einsetzen. Ein professionelles Unternehmen wird sich nicht scheuen, dies zu dokumentieren.

Bei red team chatgpt ist es meiner Meinung nach schwierig, so eindeutig zu sprechen. Vergessene Testumgebungen sind häufiger das Einfallstor als das Live-System.

Kein Prozess ohne Dokumentation verbessert sich weil man nicht weiß, was man verbessern soll. Aus Erfahrung weiß ich das.

bei uns ist es genauso.

Kurzfassung für Neueinsteiger: Wenn ihr es zum ersten Mal macht fangt klein an, die Skalierung kommt später.

Das war's, entschuldige, wenn ich zu lang war.

Ich würde mich freuen, wenn du das Ergebnis postest. Jeder nicht schriftlich festgehaltene Punkt ist einer, an den sich beide Parteien später unterschiedlich erinnern.

Ich hoffe, das hilft dir weiter.

Richtig. Änderungen an Zahlungsdaten werden niemals über den Kanal bestätigt, über den sie eingehen.

Wenn wir ohne Messung entscheiden, landen wir immer wieder am selben Punkt.

Vor zwei Jahren habe ich genau dasselbe erlebt. Kein Prozess ohne Dokumentation verbessert sich, weil man nicht weiß, was man verbessern soll.

Wenn deine Situation anders ist, ändert sich das natürlich.

Ich stimme zu, möchte das sogar besonders betonen. Zwei Wochen Notizen machen liefert bessere Ergebnisse als eine sechsmonatige Schätzung.

Ich werde das Gegenteil vertreten, bitte nicht böse sein. Wenn man Fehlalarme anschreit, meldet sich danach niemand mehr.

An deiner Stelle würde ich so vorgehen.

Im Großen und Ganzen richtig, aber ein Punkt fehlt. Wenn du zu einem Thema drei verschiedene Antworten bekommst, war die Frage falsch gestellt.

Wenn der Benachrichtigungsweg lang ist, kommen keine Benachrichtigungen; keine Benachrichtigung bedeutet spät erkannte Vorfälle. Wenn deine Situation anders ist, ändert sich das natürlich.

noiert danke.

Absolut. Wenn ich noch etwas hinzufügen darf: Der meiste Zeitverlust entsteht durch Arbeiten, die auf Freigaben warten.

Schreibt mir wenn ihr Fragen habt, ich antworte so gut ich kann.