Estas startups luchan contra los deepfakes creando deepfakes

No estaba segura si mis padres notarían que la voz al final no era mía, o si era mía, pero no. a mí. Una voz saludó, le preguntó a mi padre cómo estaba y volvió a preguntar cuando no respondió lo suficientemente rápido. «¿Qué es esto, Gaby?» Se dio cuenta de que algo andaba mal casi de inmediato. Le expliqué que había intentado engañarlo y claramente no funcionó. «No lo hizo», dijo. «Es como un robot».

No fue un experimento perfecto. Mis padres eran de todo el país, lo cual era un eslabón fallido. Estaban cenando con amigos y la voz no podía soportar las interferencias ni los retrasos en la audición: trató de llenar el silencio. Sobre todo, sonaba como una voz humana, pero no sonaba como yo.

La Voz de Detección está profundamente concebida por la empresa Real Defender. El problema de los nuevos medios no es nuevo, pero la llegada de la IA para el consumidor ha hecho que la creación de audio, vídeo e imágenes falsas sea esencialmente sencilla, y en los últimos años han surgido varias empresas para combatirlo. Reality Defender, Pindrop y GetReal son parte de la industria de aldeas de detección en rápido crecimiento Se estima que tendrá un costo estimado de 5.500 millones de dólares. a partir de 2023. Estas nuevas empresas utilizan herramientas de aprendizaje automático para comprender. Para luchar contra los deepfakes, puedes hacerlo.

El nombre «deepfake» se refiere a un tipo especial de medios manipulados generados con aprendizaje «profundo», pero aparte de la forma en que se crean, no existe una comunidad que una a todos los deepfakes. Para fraude, acoso, se han utilizado memes. Herramientas como Grok AI han llevado a un La proliferación de deepfakes sexuales no consentidos.incluso material de abuso sexual infantil. Los estafadores tienen Cloné las voces del pueblo.Apelaron a sus familiares y dicen que están retenidos de boca en boca. Durante las elecciones de 2024, un político y un mago se unieron para crear un expresidente profundamente falso, Joe Biden, a quien los demócratas de New Hampshire utilizaron para disuadir de votar en las primarias estatales. Jefe del Comité de Relaciones Exteriores del Senado Atendió una llamada de Zoom por alguien que utiliza IA para hacerse pasar por un funcionario ucraniano. A nivel corporativo, fraude falso ahora la industria, según un estudio.

La industria de la detección profunda existe principalmente para abordar uno de estos problemas: la cuestión del fraude corporativo.

Real Defender está entrenando eficazmente a la IA para combatirla. La empresa utiliza «modelos basados ​​en inferencias» para detectar deepfakes, me dijo el director de tecnología, Alex Lisle. «Nuestro modelo básico utiliza algo llamado paradigma estudiante/maestro. Tomamos un montón de cosas y decimos: ‘Esto es cierto’, y luego tomamos un montón de cosas falsas y decimos: ‘Esto es falso'».

Para el falso yo, hemos hecho una voz bien afinada: fiel a la constancia, la estabilidad y el sonido, para que suene más a mí mismo. Había mucho que podíamos hacer. No hay muchas imágenes disponibles públicamente de mí hablando español, el idioma que uso para comunicarme con mis padres, excepto una entrevista en podcast de 2021, la mayor parte de la cual es inútil porque no hay música de fondo. Pero con nueve segundos de audio y datos recortados de años de tráfico, pudimos crear un agente de IA algo plausible que podría mantener una conversación con mis padres, aunque fuera impersonal. Usamos el modelo inglés en el caso de mi hermano porque teníamos una formación mucho más rica en información, pero ni siquiera entonces él estaba del todo convencido.

Pero la prueba familiar es más dura.

«Son como suena tu voz», me dijo Scott Steinhardt, jefe de comunicaciones de The Defender. Steinhardt lo hizo profundamente con mi consentimiento y permaneció así hasta que sonó más o menos como yo. Mi familia no es estúpida, pero probablemente lo suficiente como para ser, digamos, colegas o asuntos corporativos como los bancos.

Para ser efectivas, estas herramientas funcionan rápidamente. La IA generativa es más lenta. el arquetipo llamado padres sacrificó la cualidad de la velocidad. Para que la voz responda rápidamente tenemos que aceptar una menor calidad en el circuito. Fue mucho mejor con texto a voz, pero tomó más tiempo generarlo. Cuando leemos la voz en el monólogo de Fortunati e Esperando a GodotCasi me lo pareció.

«Personalmente, es lo suficientemente desafiante como para no profundizar», me dijo Nicholas Holland, director de producto de Pindrop. «Creo que el desafío de ‘¿Cómo protejo mi identidad personal?’ Es algo que el mundo aún no ha descubierto. Pienso ‘¿Cómo me conocen mis instituciones?’ es donde diferentes organizaciones soportan diferentes capas de seguridad. «

También se trata de recursos. No tengo dinero para contratar una empresa de detección que filtre mis llamadas, pero mi banco sí, y mi banco tiene más que perder, en absoluto, si no en términos relativos. Una de las encuestas de 2024 Se descubrió que las empresas habían perdido 450.000 dólares por incidente grave, mientras que más de una empresa perdió más de 1 millón de dólares en una sola estafa.

Algunos de estos estafadores involucraban a mandantes ejecutivos, que llamaban a sus subordinados y les pedían que transfirieran grandes sumas de dinero a sus cuentas. Antes de iniciar la llamada con Holland, recibí una notificación emergente de zoom;

Esta reunión fue resuelta. Pindrop Security y sus proveedores externos graban audio y video de sus reuniones para determinar si usted es una persona real y/o legítima. Al hacer clic en «Aceptar» a continuación, usted acepta que Pindrop recopile, use y almacene escaneos de reuniones y audio, voz y rostro (que pueden considerarse datos biométricos) y su dirección IP (a otros estados, provincias o países) para los fines antes mencionados.

Mi rostro, voz y dirección IP indicaban que no me retendrían por más de 90 días.

Holland me dijo que las empresas ahora están inundadas de solicitantes falsos; irónicamente, incluso en Pindrop. «Estamos analizando su organización. Estamos analizando dónde la gente realmente hace el trabajo, tal vez en el lado de TI», dijo Holland. «Teníamos teletiendas que contrataban a alguien por una tarifa, pero esa persona luego se convirtió en desarrollador. Contrataron a otras dos personas y resultó que la misma persona fue contratada tres veces usando tres voces diferentes, tres caras diferentes, tres identidades diferentes».

Por lo general, estos no son personajes generados por IA en absoluto; Personas que utilizan tecnología profunda para cambiar su apariencia, casi como una máscara digital. Para detectar esto se utilizó un truco: pedirle al hombre que colocara tres dedos delante de su cara.

«Eso no funciona ahora. Los modelos de IA son tan buenos que pueden crear manos completamente, puedes ponerlas delante de tu cara», dijo Holland. «Ahora es básicamente invisible a la vista».

Lisle de Real Defender me dijo que a medida que la tecnología mejora, los ataques se vuelven menos sofisticados. Mientras que antes los estafadores se hacían pasar por un solo ejecutivo, ahora se exceptúan a los empleados de todos los niveles de la empresa. Me dijo que no quería ser identificado sobre un ataque reciente a una empresa pública, en el que un estafador fue a LinkedIn, obtuvo el nombre de todos los empleados actuales y luego eliminó TikTok y Facebook para crear un «grupo de datos» y obtener una voz para cada una de estas personas. Su información y pistas de voz se colocaron en el LLM, que creó el contexto de la ventana y la mesa, y luego llamó a «todo el equipo» a todos los niveles «dispersos».

«En ciberseguridad, hablamos de lo que se llama ‘límites de confianza'», dijo Lisle. «El problema con la profundidad es que siempre existe este límite implícito de confianza, que es ver y oír para creer. El año pasado, 40.000 oídos y ojos creen, pero ahora no podemos. Todos estos límites de la fe nunca antes habían sido pensados ​​en aquellos que se deleitan en los caminos del odio».

Por ahora, estos programas están dirigidos sólo a grandes empresas: tienen trabajo, mucho en juego y mucho dinero que pagar. Pero la gente común y corriente no tiene un software de detección profunda, y no lo tendrá en un futuro próximo. Como explica Holland, el mayor desafío para la adopción masiva es la concientización, porque «muchos consumidores no conocen las amenazas, por lo que no saben cómo encontrar la solución; no hay ningún país con empresas que sirvan a los consumidores». Pindrop aún no tiene un producto de consumo, pero no se descarta desarrollarlo en el futuro. El desafío, dijo Holland, «es hacer que estos sistemas sean lo suficientemente rápidos, precisos y confiables como para confiar en situaciones cotidianas».

El Real Defensor tiene una perspectiva diferente. Steinhardt dijo que el producto de consumo está creando un «campo de juego desigual y desigual para la gente».

«Piense en el antivirus: si bien esto solía ser algo que preocupaba a las personas (o, peor aún, no lo hacían), ahora los navegadores, los proveedores de correo electrónico, los proveedores de Internet y similares escanean todo antes de que el malware llegue a nuestra computadora», dijo Steinhardt. «Este es un enfoque para la detección profunda».

Mi deepfake no pudo engañar a mi familia, pero yo no pude probarlo. Durante años, los organismos encargados de hacer cumplir la ley en todo el país han advertido contra las leyes de secuestro de alto perfil: un padre recibirá una llamada de una voz muy improbable pidiendo ayuda, y luego el «secuestrador» exigirá un rescate. Aunque la voz no es nada convincente, se oye un llanto y un grito. No podría hacérselo a mis padres, incluso si fuera falso. Consideré brevemente otras estafas: podía llamar a mi banco, o tal vez a mi proveedor de seguro médico, pero la idea de retirarme de mis cuentas (o cometer un fraude real y legítimo) me amargó la experiencia. Pero llamé a mi hermano. «Oh, NO», dijo inmediatamente cuando una voz lo saludó. Tampoco se dejó engañar.