forumAbrir tema

Guardamos nuestros documentos en una nube con IA integrada: ¿cuáles son los riesgos concretos para los datos de los clientes?

MMert K***Experto
Cargo
Operador de entrada de datos
Sector
cuero
Tipo de organización
Empresa de producción de 40 empleados
Miembro desde
jun 2023
Mensaje
18
#1

Somos una consultoría fiscal y de gestión en Francia. Con nuestro equipo de 8 personas, revisamos cientos de balances, contratos y nóminas todos los días. Para agilizar los procesos, planeamos cambiar a una suscripción de almacenamiento en la nube empresarial que incluye funciones integradas de análisis de texto y resumen con IA. De este modo podremos escanear y analizar contratos largos en segundos.

Sin embargo, los archivos que gestionamos están llenos de secretos comerciales y datos personales de nuestros clientes. El proveedor afirma que los datos están protegidos en el plan empresarial, pero con las estrictas normas de privacidad europeas (RGPD), tenemos muchas dudas. Cuando traslademos los documentos de la empresa a una nube con IA, ¿cuáles son los riesgos concretos con los que nos encontraremos directamente y qué debemos hacer para eliminarlos o reducirlos?

İİsmail V***Participante
Cargo
Miembro del consejo de administración
Sector
Publicidad y promoción
Tipo de organización
agencia boutique
Miembro desde
may 2023
Mensaje
2
Más útil#2

Respuesta corta: Más que una filtración externa, el riesgo principal es que sus datos se utilicen para el entrenamiento general del modelo de IA y que se superen los límites de permisos internos. En su contrato empresarial se debe garantizar que los datos no se incluirán en el entrenamiento del modelo y se debe evitar que los empleados realicen consultas sin control sobre los secretos de los clientes.

En concreto, se enfrentará a tres riesgos principales: 1) En el riesgo de tratamiento de datos, los textos subidos en cuentas gratuitas o estándar pueden incorporarse al fondo general de aprendizaje del motor de IA; debe confirmar por escrito en el contrato el principio de que los datos del cliente no se usan para entrenar el modelo en la cuenta empresarial. 2) En el riesgo de exceso de permisos, si el asistente de IA tiene acceso a toda la nube de la empresa, un becario podría escanear y resumir archivos de nóminas confidenciales a través del sistema. 3) Bajo el RGPD, existen transferencias a servidores de terceros; debe estar claro si los datos se procesan dentro del Espacio Económico Europeo y si se ha firmado un Acuerdo de Tratamiento de Datos (DPA).

Para mitigar estos riesgos, en primer lugar, limite en el panel de la nube las carpetas que la IA analizará por departamentos. En segundo lugar, adopte una regla de trabajo para enmascarar nombres e importes antes de subir contratos sensibles a la nube. Por último, actualice sus acuerdos de confidencialidad con los clientes para indicar de forma transparente que se utilizan herramientas de análisis de texto automatizado.

EElaParticipante
Cargo
Psicólogo
Miembro desde
ago 2024
Mensaje
74
#3

Le recomiendo revisar las recomendaciones publicadas por la autoridad de protección de datos de Francia sobre el uso de la IA. Si los documentos de los clientes contienen datos de identidad o bancarios de terceros, debe suscribir un Acuerdo de Tratamiento de Datos que incluya Cláusulas Contractuales Tipo con su proveedor de la nube y añadir esta actividad de tratamiento a su registro.

EEsraParticipante
Cargo
Desarrollador Python
Miembro desde
ago 2024
Mensaje
134
#4

El punto más peligroso son los derechos de acceso en la arquitectura de recuperación de información. En la nube tradicional, un empleado no puede ver la carpeta de nóminas. Pero si la IA realiza una indexación general y no heredó bien los permisos de archivo, puede extraer datos de ese documento y resumirlos indirectamente desde la barra de chat. Pruebe sí o sí la herencia de permisos.

ZZehra E***ExpertoMiembro de la comunidad
Miembro desde
ago 2023
Mensaje
220
#5

No confíe a ciegas en el compromiso de los proveedores de "no usamos sus datos para entrenamiento". Revise en la documentación técnica si envían la información a un clúster de servidores de terceros en segundo plano para el proceso de resumen. La mayoría de los sistemas grandes llaman a modelos de lenguaje de otras empresas como subcontratistas.

ZZaferParticipante
Cargo
Agencia de seguros
Miembro desde
may 2024
Mensaje
88
#6

En nuestro despacho encontramos esta solución intermedia: en lugar de subir los datos del cliente directamente primero anonimizamos los borradores donde haremos el análisis de texto. Escribimos "Cliente A" en lugar de Juan Pérez y "Empresa X" en lugar de la razón social. Lleva dos minutos más pero nos da tranquilidad.

GGürkan Y***ParticipanteMiembro de la comunidad
Miembro desde
jun 2023
Mensaje
73
#7

Cuando nuestro equipo probó la primera herramienta de IA, nos dimos cuenta de que un compañero pegó un contrato de proveedor entero y le dijo "encuentra los fallos en este contrato". El factor humano es el eslabón más débil. No active este botón sin explicarles punto por punto al personal qué pueden y qué no pueden subir.

LLeyla K***Experto
Cargo
Empleado de tienda
Sector
Energía
Tipo de organización
Empresa de 20 empleados
Miembro desde
dic 2024
Mensaje
29
#8

Lista de verificación antes de la implementación: 1) Desactive por completo el permiso de entrenamiento del modelo en la configuración de la nube. 2) Excluya del alcance del análisis de IA las carpetas que contengan datos de identidad e IBAN. 3) Audite los registros semanalmente y controle qué empleados están haciendo consultas y sobre qué tipo de documentos.

YYasemin K***ExpertoMiembro de la comunidad
Miembro desde
mar 2023
Mensaje
201
#9

El año pasado, con un entusiasmo similar, integramos todo nuestro archivo en un sistema con soporte de IA. En cuanto a velocidad, logramos un aumento brutal de productividad no voy a mentir. Sin embargo, cuando un cliente corporativo nos pidió una auditoría, nos costó mucho explicar nuestras cláusulas contractuales. Si el contrato empresarial y los límites del tratamiento de datos no están claros, el riesgo de perder clientes puede pesar mucho más que el tiempo que vaya a ganar.

VVildan G***VeteranoMiembro de la comunidad
Miembro desde
ene 2023
Mensaje
349
#10

Este hilo es para archivar. la verdad si el camino de la notificación es largo, la notificación no llega; una notificación que no llega significa un incidente detectado tarde.

Eso es todo, disculpa si me he extendido demasiado.

ZZübeyde A***Veterano
Cargo
Coordinador de mensajería
Sector
Servicios de salud
Tipo de organización
empresa dentro de un holding
Miembro desde
ene 2024
Mensaje
12
#11

Tema muy oportuno.

UUfuk N***ExpertoMiembro de la comunidad
Miembro desde
nov 2024
Mensaje
370
#12

¿Y cómo resolvieron esto? si decidimos sin medir, siempre acabamos en el mismo punto.

también me gustaría saber si alguien lo hace de otra manera.

ÖÖmer Ö***Participante
Cargo
Responsable de redes sociales
Sector
Textil
Tipo de organización
taller
Miembro desde
feb 2022
Mensaje
76
#13

Voy a resumir el tema, porque se han dado varias respuestas diferentes. Que todo el mundo haga algo no significa que sea lo correcto.

También me gustaría saber si alguien lo hace de otra manera.

FFiliz P***ExpertoMiembro de la comunidad
Miembro desde
nov 2024
Mensaje
14
#14

Me pasó lo mismo.

TTuğçe B***Participante
Cargo
Becario
Sector
Deportes y fitness
Tipo de organización
empresa familiar
Miembro desde
abr 2023
Mensaje
169
#15

¿Podría ampliar un poco esto? La mayor parte de la pérdida de tiempo se acumula en los trabajos pendientes de aprobación.

Ánimo.

İİsmail V***Participante
Cargo
Director de ventas
Sector
vidrio
Tipo de organización
Empresa de 20 empleados
Miembro desde
mar 2024
Mensaje
322
#16

Tienes razón, yo también pasé por lo mismo. Los entornos de prueba olvidados son una puerta de entrada más frecuente que el sistema en producción.

Intentar hacerlo solo es la vía más cara. Espero que le sea útil.

SSultan G***Nuevo miembro
Cargo
Analista de datos
Sector
Textil
Tipo de organización
negocio de dos sucursales
Miembro desde
jun 2026
Mensaje
135
#17

Guardado. Si obtienes tres respuestas distintas sobre un tema, la pregunta está mal formulada.

PPolat K***ParticipanteMiembro de la comunidad
Miembro desde
may 2023
Mensaje
329
#18

No sabía eso. La mayor parte de la pérdida de tiempo se acumula en los trabajos pendientes de aprobación.

También me gustaría saber si alguien lo hace de otra manera.

DDeniz D***Participante
Cargo
Fundador de agencia
Sector
Servicios de seguridad
Tipo de organización
Empresa de producción de 40 empleados
Miembro desde
mar 2023
Mensaje
122
#19

Yo también tengo curiosidad.

HHakan V***Participante
Cargo
Analista de datos
Tipo de organización
distribuidor regional
Miembro desde
abr 2024
Mensaje
104
#20

Hay que ir paso a paso. Si intentas cambiarlo todo a la vez, nada termina de asentarse.

Si escribís el resultado aquí también servirá de ayuda a otros.

Responder