Las herramientas de detección de contenido generado por inteligencia artificial son programas informáticos de gran utilidad que se han diseñado especialmente para identificar y analizar el texto, imágenes, videos y otros tipos de contenidos producidos por modelos de lenguaje basados en aprendizaje automático. En un momento en el que el contenido generado por IA puede ser causante de preocupaciones y riesgos, estas herramientas juegan un papel fundamental.

Entre las principales preocupaciones que se tienen hoy por hoy sobre el contenido generado por IA se encuentra la proliferación de la desinformación y la manipulación de la información, motivo por el cual su detección y análisis se han vuelto imprescindibles. La sofisticación con la que se pueden crear noticias falsas utilizando IA es tal, que se han registrado casos en los que se confunden con información verdadera.

Otro factor a considerar es que el contenido generado por IA puede ser usado en prácticas fraudulentas, como el spam y el phishing, lo que deriva en una mayor necesidad de supervisión. Además, su uso también podría acarrear implicaciones éticas, como el sesgo de género, racial y de clase, el cual podría influir sobremanera en la percepción que se tenga sobre ciertos temas.

Por último, estas herramientas pueden ser de gran utilidad para monitorizar la calidad del contenido generado por IA y así mejorar la comprensión de cómo se emplea esta tecnología en diferentes contextos, lo que resulta de vital importancia en la actualidad.

Un momento…

Sí, la introducción anterior ha sido generada mediante prueba y error usando Inteligencia Artificial por medio de un buen Prompt. Por el momento, la IA no tiene poderes telepáticos, ¡al menos no todavía! Por lo tanto, es necesario traducir lo que tenemos en nuestra mente y expresarlo de la manera más clara posible para obtener un resultado perfecto. Es por eso que el trabajo de prompt engineer ha cobrado tanta relevancia; él se encarga precisamente de esto, utilizando indicaciones cuidadosamente elaboradas con verbos y vocabulario precisos, lo que da como resultado un trabajo fabuloso (acá es donde creó que he estado perdiendo dinero todo este tiempo, okno).

El caso es que tenía que explicar esta parte si o si para que cobrara sentido, ahora vamos al lío colocando a prueba dichos detectores con el texto anteriormente plasmado cómo ejemplo a ver si lo detectan o no:

  • GPTzero: este es el detector más conocido de todos, quién salió a la defensa de los maestros cuando estallo ChatGPT en los colegios, también son los mismos qué se autoproclaman “El detector de IA n.º 1 con más de 1 millón de usuarios” aunque los resultados han sido “buenos” no tan buenos cómo para detectar que dicha introducción fue escrita por una IA, de hecho destaca un fragmento de texto por su nivel de perplejidad, cosa que solo los humanos solemos realizar “Otro factor a considerar es que el contenido generado por IA puede ser usado en prácticas fraudulentas, como el spam y el phishing, lo que deriva en una mayor necesidad de supervisión” con una perplejidad de 176.

Y ¿Qué significa ese puntaje de perplejidad de 176? Pues, he tenido que leer un buen rato para poder entenderlo y plasmarlo acá, básicamente el puntaje de perplejidad es una medida de qué tan difícil es entender un texto. Cuanto más bajo sea el puntaje, más fácil es entender el texto. Un puntaje de 176 indica que el texto es bastante difícil de entender y puede requerir un esfuerzo adicional para comprenderlo.

Para hacerlo entender de una manera fácil, la perplejidad se puede comparar con una prueba de habilidad. Si el puntaje es bajo, significa que se tiene una habilidad alta, mientras que un puntaje alto en perplejidad significa que se tiene una habilidad baja para entender el texto.

En cuanto a si es bueno o malo, dependerá del propósito del texto y del público objetivo. Por ejemplo, si el texto es un artículo científico dirigido a especialistas, un puntaje de perplejidad alto puede ser aceptable. Pero si el texto es un material educativo destinado a un público general, un puntaje alto en perplejidad puede ser un obstáculo para la comprensión. En general, se considera bueno tener un puntaje bajo en perplejidad para asegurar que el texto sea fácilmente comprensible para la mayoría de las audiencias.

“A más perplejidad, más humanidad, y viceversa”.

  • Plagium: Ahora bien, con Plagium en su sesión de contenido generado por IA me sucedió algo curioso en donde me hace dudar, pasa que en el texto original en español no me dió una respuesta concreta, básicamente no pudo identificar que era, por lo que probé a traducirlo y colocarlo nuevamente (en inglés) a lo que me arrojo el “Es probable que este texto sea generado por una máquina” entonces no estoy seguro de su efectividad, es un sí, pero no.

Y por si lo están pensando… si, me devolví a GPTZero a verificar el texto traducido y aún me decía que era hecho por un humano con una perplejidad de 38, entendible hasta para un infante (entonces muy bueno no es, nro 1 claro).

  • ZeroGPT: Este es uno qué ha tenido bastante reconocimiento en las revistas de tecnología y quienes se echan flores acerca de su desarrollo y no es para menos, según lo documentado, es de los más potentes que existe en la actualidad y cito:

“Después de analizar más de 10 millones de artículos y textos, algunos generados por IA y otros escritos por humanos, desarrollamos el algoritmo de ZeroGPT con una tasa de precisión de detección de texto superior al 98 %. Nuestra herramienta detectora de texto con IA utiliza la tecnología DeepAnalyse™ para identificar el origen de su texto.

Nuestros experimentos aún están en curso, y nuestro objetivo es analizar más de 1B de artículos y texto, y converger a una tasa de error inferior al 1%”.

¿Y el resultado de mi texto? Pues, originalmente es decepcionante, teniendo en cuenta su punto primordial de “ZeroGPT tiene un uso mundial con usuarios multilingües. Detecta la salida de texto AI en todos los idiomas disponibles” por lo que en español mi texto era 100% original, aunque al traducirlo al inglés la tasa de IA era de un 72,99% de probabilidad, por lo que es un “bien, pero no”.

  • Copyleaks: Sin duda es la herramienta que más ha acertado, según ellos tienen una probabilidad de acertar del 99% y no han fallado, por lo que no es falso su anuncio; ha acertado mi texto con un 99.9% de ser generado con IA cosa que es así.
  • OpenIA: Los mismos de ChatGPT tienen su propio detector, aunque lo ideal es que nos dieran un porcentaje o una aproximación de cuanto es de real o de generado, pero no, da un seco “es probable que esté generado por IA” siendo de la misma marca da a entender que es una herramienta muy pobre.

Conclusión

Cada vez es más difícil detectar texto generado por IAs y está vez no se puede hacer la analogía del “gato y el ratón” porque estamos frente a una tecnología que cada vez más desarrolla su perplejidad y su ingeniería inversa puede verse opacada, eso sí, es una guerra entre máquinas (no tan literal) pero según un estudio de la Universidad de Washington ha demostrado que sin entrenamiento específico, los humanos sólo son capaces de detectar texto generado por GPT-3 (el modelo en el que está basado ChatGPT en versiones anteriores) incluso hay un sitio web donde puedes probar que tan bueno eres diferenciando contenido real del que no lo es (o bueno, generado por IA) y de paso ayudar a los científicos de la Universidad de Pensilvania que investigan el tema.

Lo único que nos queda es utilizar dichas herramientas que hacen la inversa para obtener una respuesta aproximada… que no es infalible.

Agrego: Decidí escribir este artículo porque en mi feed RSS he notado cada vez más cómo los medios que sigo utilizan descaradamente contenido generado por AI. Prácticamente cada tres días publican un mínimo de 20 artículos, lo que es sospechoso, a pesar de que pueden tener muchos editores. Incluso llegué a acumular 100 artículos de un solo medio en solo 6 días, cuando antes solo publicaban alrededor de 20. No mencionaré cuáles son esos medios para evitar controversias, pero es algo sobre lo que debemos reflexionar: ¿Disminuye la calidad o no? Estoy atento a cualquier corrección o aclaración sobre el tema, ya que hay muchas vertientes e información de por medio.

Saludos y gracias por leer.