¿Qué es DarkBERT? ¿Puede la IA ayudar a combatir las ciberamenazas?

La popularidad de los modelos de lenguajes grandes (LLM) se está disparando y constantemente aparecen nuevos modelos. Los modelos como ChatGPT suelen entrenarse en una variedad de fuentes de Internet, incluidos artículos, sitios web, libros y redes sociales.

Un equipo de investigadores coreanos desarrolló DarkBERT, un LLM capacitado en conjuntos de datos obtenidos exclusivamente de la web oscura . Su objetivo es crear una herramienta de inteligencia artificial que supere a los modelos de lenguaje existentes y ayude a los investigadores de amenazas, las fuerzas del orden y los profesionales de la ciberseguridad en sus esfuerzos contra las amenazas en línea.

¿Qué es DarkBERT?

DarkBERT es un modelo de codificador basado en la arquitectura RoBERTa. LLM ha recibido capacitación en millones de sitios web oscuros, incluidos datos de foros de piratería, sitios de phishing y otras fuentes en línea involucradas en actividades ilegales.

El término "web oscura" se refiere a una parte oculta de Internet a la que no se puede acceder a través de navegadores web estándar. Esta parte de Internet es conocida por albergar sitios web anónimos y mercados ilegales, como la venta de datos robados, drogas y armas.

Para entrenar a DarkBERT, los investigadores obtuvieron acceso a la web oscura a través de la red Tor y recopilaron datos sin procesar. Filtraron cuidadosamente estos datos utilizando técnicas como deduplicación, equilibrio de categorías y preprocesamiento para crear una base de datos de la web oscura ajustada, que luego se envió a RoBERTa durante aproximadamente 15 días para crear DarkBERT.

Aplicaciones DarkBERT en ciberseguridad

DarkBERT tiene una comprensión superior del lenguaje de los ciberdelincuentes y se destaca en la detección de amenazas potenciales específicas. Puede investigar la web oscura e identificar y señalar con éxito amenazas de ciberseguridad, como fugas de datos y ransomware, lo que la convierte en una herramienta potencialmente útil para combatir amenazas en línea.

La investigación publicada en arxiv.org muestra que para evaluar la efectividad de DarkBERT, los investigadores lo compararon con dos modelos famosos de PNL, BERT y RoBERTa, evaluando su desempeño en tres casos de uso importantes en aplicaciones relacionadas con la seguridad de la red.

1. Supervise los foros de la Dark Web en busca de temas potencialmente dañinos

Monitorear los foros de la web oscura, a menudo utilizados para intercambios ilegales de información, es importante para identificar temas potencialmente peligrosos. Sin embargo, revisarlos manualmente puede llevar mucho tiempo, lo que hace que la automatización del proceso sea beneficiosa para los profesionales de la seguridad.

Los investigadores se centraron en actividades potencialmente dañinas en foros de piratería, proporcionando guías comentadas sobre temas importantes, incluido el intercambio de datos confidenciales y la distribución de malware, daños graves o vulnerabilidades.

DarkBERT supera a otros modelos de lenguaje en términos de precisión, recuperación y puntuación F1, emergiendo como una opción superior para identificar temas de interés periodístico en la web oscura.

2. Detectar páginas que alojan información confidencial

Los piratas informáticos y los grupos de ransomware utilizan la web oscura para crear sitios web de filtración donde publican datos confidenciales robados de organizaciones que se niegan a cumplir con las demandas de rescate. Otros ciberdelincuentes simplemente cargan datos confidenciales filtrados, como contraseñas e información financiera, en la web oscura con la intención de venderlos.

En su estudio, los investigadores recopilaron datos de grupos de ransomware notorios y analizaron sitios web de fugas de ransomware que publican datos privados de organizaciones. DarkBERT supera a otros modelos de lenguaje en la identificación y clasificación de dichos sitios, lo que demuestra su comprensión del lenguaje utilizado en foros clandestinos de piratería en la web oscura.

3. Identificar palabras clave relacionadas con amenazas en la Dark Web

DarkBERT aprovecha el relleno de máscaras, una característica inherente a los modelos de lenguaje familiar BERT, para identificar con precisión palabras clave relacionadas con actividades ilegales, incluida la venta de drogas en el lado oscuro de la web.

Cuando la palabra "MDMA" estaba oculta en una página de venta de medicamentos, DarkBERT generaba palabras relacionadas con las drogas, mientras que otros modelos sugerían palabras y términos genéricos no relacionados con las drogas, como industrias y profesiones diferentes.

La capacidad de DarkBERT para identificar palabras clave asociadas con actividades ilegales puede ser valiosa para rastrear y abordar las amenazas cibernéticas emergentes.

¿Puede el público acceder a DarkBERT?

DarkBERT no está actualmente disponible para el público, pero los investigadores que lo deseen pueden solicitar su uso con fines académicos.