Poco después del lanzamiento de los modelos de IA DeepSeek y Qwen, Check Point Research fue testigo de cómo los cibercriminales cambiaban rápidamente de ChatGPT a estas nuevas plataformas para desarrollar contenido malicioso. En este contexto, los actores de amenazas están compartiendo cómo manipular los modelos y mostrar contenido sin censura, lo que en última instancia permite a los piratas informáticos y delincuentes utilizar la Inteligencia Artificial para crear contenido malicioso.
El panorama de amenazas
Tanto Qwen como DeepSeek han demostrado potencial como herramientas poderosas para crear contenido malicioso con restricciones mínimas. Si bien ChatGPT ha invertido sustancialmente en disposiciones anti-abuso durante los últimos dos años, estos modelos más nuevos parecen ofrecer poca resistencia al uso indebido, lo que atrae un aumento del interés de diferentes niveles de atacantes, especialmente los poco capacitados: personas que explotan scripts o herramientas existentes sin un conocimiento profundo de la tecnología subyacente.
Es fundamental destacar que, a pesar de los mecanismos anti-abuso de ChatGPT, ya existen versiones sin censura disponibles en varios repositorios en Internet. A medida que estos nuevos modelos de IA ganen popularidad, se prevé que ocurra la misma situación, aumentando aún más los riesgos involucrados.
Una de las técnicas preferidas por los ciberdelincuentes es el jailbreaking, ya que permite aprovechar las capacidades de la Inteligencia Artificial con fines maliciosos. Este tipo de ataque permite manipular modelos de IA para generar contenido sin censura ni restricciones.
El auge de modelos como Qwen y DeepSeek marca una tendencia preocupante en el panorama de las amenazas cibernéticas, donde se explotan cada vez más herramientas sofisticadas con fines maliciosos. A medida que los actores de amenazas emplean técnicas avanzadas para eludir las medidas de protección y desarrollar ladrones de información, robo financiero y distribución de spam, la urgencia de que las organizaciones implementen defensas proactivas contra estas amenazas se hace evidente. En medio de la carrera por desarrollar y lanzar nuevos modelos de GenAI, la seguridad debe ser una prioridad, de lo contrario, las organizaciones seguirán expuestas a riesgos inaceptables.
