Twitter está censurando la conversación sobre #Wikileaks

Para quienes somos usuarios intensivos de Twitter y además estamos interesados en defensa de las libertades de expresión y de información, algo raro estábamos constantando hace unos días. Wikileaks, un tema que estaba siendo intensamente mencionado en esta red social, no aparecía en sus temas del momento. Ayer leí esta completa entrada en el blog de bubbloy, quien me autorizó a traducirlo. Espero haberlo hecho de la manera más fiel al texto original. Si encuentran alguna frase poco inteligible, háganme ver el dato: debe ser producto de mi inexperiencia como traductor. Al momento de publicar esta entrada, el posteo original ya tiene una tercera actualización que no he alcanzado a traducir, lo que espero hacer durante el día. Recomiendo, por cierto, leer la conversación (en inglés) que está teniendo lugar en los comentarios al posteo de bubbloy.


Pocas horas antes de publicar esta traducción, Julian Assange fue detenido en Londres. Las etiquetas Assange Arrested y Scotland Yard aparecen en estos momentos entre los 10 Temas del Momento a nivel mundial.


Actualización 00:03 08/12/2010. Las etiquetas antes mencionadas, tuvieron una corta presencia en los Temas del Momento. Durante la mayor parte del día, no estuvieron presentes entre los temas más hablados en el mundo. Incluyo ahora la tercera y hasta el momento última actualización del post original (ver al final de esta entrada).

---------------------------

Twitter, la popular red social de los 140 caracteres, tiene una función llamada “Temas del Momento”, la que supuestamente captura los que son los tópicos de discusión más populares en un momento dado. Cuando la gente envía un “tweet” sobre un tema, pueden insertar lo que se llama un “hash tag” (etiqueta) en su mensaje. Por ejemplo, si yo quisiera mandar un tweet sobre Richard Feynman, y deseara que otras personas interesadas en Richard Feynman pudieran encontrarlo, podría poner algo como “#Feynman” dentro de mi mensaje. Twitter automáticamente clasificaría este posteo bajo “Feynman” y la gente podría buscarlo en Twitter. Así es como los “Temas del momento” son calculados. Si, por ejemplo, en un lapso de tiempo de 10 minutos, un millón de personas pusieran la etiqueta #Navidad en sus mensajes y fuera un tema suficientemente popular en Twitter, entraría en los “Temas del momento”. Así de sencillo.

Hoy, mientras estaba rastreando en la red por todo lo que pudiera encontrar sobre censura en contra de Wikileaks y la situación legal de Julian Assange, tuve una creciente inquietud respecto de que Twitter estaba activamente censurando la conversación sobre Wikileaks. Nuevos mensajes usando la etiqueta #Wikileaks estaban apareciendo a ritmo destacado. Si dejaba la página si actividad por unos 30 segundos, veía 40 mensajes nuevo usando #Wikileaks al regresar a ella. Parecía que #Wikileaks era uno de los temas más populares y que por lo tanto estaría en “Temas del momento”, pero no tenía como medir esto.

Encontré entonces una excelente aplicación de trendistic.com. Al ingresar cualquier etiqueta y creará una gráfico de cuán popular es esa etiqueta en el período de tiempo que se defina. En teoría, como #Wikileaks no es un “Tema del momento” reconocido por Twitter, todos y cada una de las etiquetas listadas como “Tema del momento” debiera derrotar a #Wikileaks. Pero este no es el caso. Mis competencias en programación web no son tan buenas como mis otros talentos, por lo que aún tengo que programar esto en el formulario de actualización dinámica que vi, pero este es el resultado.

A las 10:48 EST, los “Temas del momento” oficiales de Twitter en el mundo entero son:

De lo que he podido encontrar sobre cómo se calculan los “Temas del momento”, los rankings se determinan simplemente por el número relativo de tweets que contienen una frase o etiqueta. Específicamente:

“Si estás buscando una rápida mirada de los temas más “tweeteados”, actualiza tu timeline y dirige tu atención a una sección que está en la derecha de la página de inicio. Puedes ver con mayor profundidad la historia de los temas más populares por minuto, día o semana si estás conectado a la página de inicio en twitter.com. Desde noticias hasta el último rumor sobre películas o música, los  “Temas del momento” reflejan que tópicos nuevos o noticiosos están atrayendo la mayor atención de la gente en Twitter en cualquier momento”. (Centro de Ayuda de Twitter)

Si eso es así, se podría esperar que cualquier frase o etiqueta listada como “Tema del momento” por Twitter venciera a #Wikileaks, en tanto ésta es omitida de la lista. Sin embargo, trendistis.com me permite graficar la información y, sencillamente, no es así

En el gráfico de abajo he indicado la prevalencia del término #Wikileaks junto a la prevalencia de los 5 Temas del Momento oficiales según Twitter (#TheWalkingDead, #thingsimiss, #noonelikesyoubecause, #rappersthatmightbehomeless and #Vnezuelan♥Biebs).

El término #Wikileaks revienta a los otros términos durante todo el día. Ni siquiera están cerca. En promedio, es tres veces más popular que cualquiera de los otros términos.

¿Por qué, entonces, no está listado como Tema del Momento en Twitter? ¿Qué explicación puede haber para esto? Si bien Twitter no está eliminando activamente posteos sobre Wikileaks, está previniendo activamente que las personas adquieran una imagen real de la conversación sobre Wikileaks, salvo que estén directamente involucradas en esa conversación o realizando búsquedas sobre ella. Esto es un detalle no menor. De hecho, impide que Twitter actúe como una utilidad social significativa.

¿No es acaso el fin de las redes sociales difundir información y, en un sentido más amplio, democratizar las sociedades? Mientras revisaba el Centro de Ayuda de Twitter investigando para esta entrada, me percaté que compartían una reflexión esperanzadora sobre la política iraní como un ejemplo de lo que se podía etiquetar en Twitter:

¿Están hablando en serio? Parece medianamente claro de este análisis que Twitter está activa y secretamente anulando la conversación sobre Wikileaks, sumándose a las bajezas de Amazon y PayPal. Por lo menos, Amazon y PayPal han hecho públicas sus decisiones. Twitter está escondiendo su cobarde comportamiento mientras en público defiende la libertad de expresión.

Al mismo tiempo, mientras Amazon y PayPal deben mucho de su éxito a su leal base de clientes, y no necesariamente a la Primera Enmienda, Twitter se basa íntegramente es facilitar el rápido flujo de información. Posiblemente su historia más citada fue el rol que jugó para los disidentes iraníes en Teherán y la amplificación que dio a sus alegatos durante la hostil elección de 2009. Es raro, pero la eliminación en las sombras de la conversación sobre Wikileaks parece el tipo de cosas por las cuales Twitter no quisiera distinguirse.

Primera actualización

El sitio web TweetStats.com consolida estadísticas sobre los principales términos usado en Twitter cada día, así como largos períodos de tiempo. Despliegan sus datos en el típico formato de nube, en el que cada término tiene un tamaño acorde a su popularidad. Obviamente, #Wikileaks no aparece. No está claro porque trendistic.com despliega los datos y TwitStats.com no, salvo por el hecho que TweetStats.com obtenga su información de una fuente oficial de Twitter que haya censurado previamente la etiqueta #Wikileaks, mientras trendistic.com lo haga de forma independiente. He contactado al dueño de TweetStats.com para confirmar esto.

Segunda Actualización

El dueño de TweetStats.com ha sido muy colaborador al recomendarme otro blog, Student Activism, en el que esta pregunta está siendo también analizada y también por sus reflexiones personales sobre el proceso en el que las frases y términos se convierten en Temas del Momento. En primer lugar, las estadísticas de TweetStats.com son compiladas desde una la API oficial de Twitter “Twitter Trends”, que actualiza información en cada minuto. Esto explica en forma definitiva la correlación entre las tendencias de TweetStats.com y la selección oficial de Twitter.

En Student Activism, un representante de Twitter ha estado conversando con el autor y realizando posteos muy informativos sobre algunas generalidades del algoritmo que usa Twitter para identificar los Temas del Momento. También niega cualquier censura que esté pudiendo ocurrir en la identificación de los temas del momento.

“Hola, trabajo en Twitter en Temas del Momento y otros proyectos. Twitter no ha modificado de ninguna manera los temas del momento para ayudar o impedir que Wikileaks destaque. #cablegate fue tema el fin de semana pasado y varios términos asociados a este tema han destacado en varias regiones durante la última semana. Los temas del momento no son sólo sobre el volumen de un término, sino también sobre la cantidad de personas y tweets sobre un término, así como el crecimiento orgánico sobre la norma. Espero que esto ayude.”

Dice más cosas, y conviene leerlas, pero en lo fundamental afirma que #Wikileaks puede estar fallando en conseguir ser tema por razones más inocuas que la censura. Específicamente, pudiera estar fallando en lograr cierto requerimiento contextual del algoritmo tal como que los posteos exhiban suficiente diversidad en su contenido. Además, cualquier incremento debe ser “orgánico”, queriendo decir que el crecimiento del interés sobre una frase o término deriva de interés público legítimamente verdadero y no auto promoción o spam de bots (robots) o recurrencia predecible o algo por el estilo. Por último, la “velocidad” en el auge de la popularidad es tan importante como el volumen. Presumiblemente, lo que quieren decir es que el incremento del volumen en la unidad de tiempo es grande incluso al dividirlo por el volumen inicial.

Ciertamente, sería todo un proyecto determinar la calidad “orgánica” de la respuesta a Wikileaks. Calcular la diversidad del contenido de Twitter para un término dado también sería un problema difícil. Uno debe elucubrar cuán dantesca debe ser la tarea de Twitter de buscar los temas del momento. Pero satisfacer esos requerimientos parece manejable. Para obtener una sensación de escala y patrón de las tendencias pasadas, decidí revisar el tema más popular del verano, Inception, y el más popular del año, Oil Spill (Student Activism realiza una comparación similar con “Sundays”, que uno esperaría fuera popular todos los domingos, y por lo tanto no calificar por su predecible comportamiento periódico).

Usando el registro gratuito en trendistic.com, es posible crear gráficos de actividad de las frases hasta 180 días en el pasado, lo que nos permite llegar hasta fines de junio.

Como uno debiera esperar, la frase “Oil Spill” (en amarillo) estaba ya en declive en ese punto. Tras una rápida mirada al gráfico, el comportamiento de “Oil Spill” parece aproximarse a un decrecimiento lineal en el tiempo con modestas fluctuaciones sobre el comportamiento promedio. Durante este declive, el promedio no cambió drásticamente, por lo que su nivel de popularidad puede ser descrito de manera genuina como “sostenido”. Por lo tanto, cualquier “popularidad residual” debiera ser detectada por el algoritmo y sólo debiera ser tendencia si la frase “Oil Spill” volviera a usarse de una manera genuinamente nueva. Además, no hay fluctuaciones verdaderamente significativas en este período excepto entre el 17 de junio y el 17 de julio. Por ello, yo no esperaría fuera tema del momento salvo para el período entre esas dos fechas. Este es el registro de “Oil Spill” como tema del momento para todo el período mostrado (obtenido de twendit.com):

 06-9-2010 por 14 horas y 51 minutos
 06-10-2010 por 1 hora y 15 minutos
 06-11-2010 por 17 horas y 15 minutos
 06-12-2010 por 1 hora y 15 minutos
 06-13-2010 por 60 minutos
 06-14-2010 por 10 horas y 45 minutos
 06-15-2010 por 5 horas y 30 minutos
 06-16-2010 por 15 horas y 45 minutos
 06-17-2010 por 4 horas y 15 minutos
 06-18-2010 por 11 horas
 06-19-2010 por 15 minutos
 06-20-2010 por 6 horas
 06-21-2010 por 8 horas y 30 minutos
 06-22-2010 por 15 minutos
 06-23-2010 por 1 hora y 45 minutos
 06-24-2010 por 1 hora y 15 minutos
 06-25-2010 por 9 horas y 15 minutos
 06-26-2010 por 30 minutos
 06-28-2010 por 60 minutos
 06-30-2010 por 2 horas y 45 minutos
 07-1-2010 por 30 minutos
 07-5-2010 por 2 horas y 15 minutos
 07-15-2010 por 15 horas y 59 minutos
 07-16-2010 por 7 horas
 07-21-2010 por 6 horas
 07-27-2010 por 4 horas y 30 minutos
 07-28-2010 por 4 horas y 15 minutos
“Oil Spill” logró ser tendencia casi todo junio y Buena parte de Julio.

Le sigue, en violeta, “Inception”. Esta película fue lanzada durante el verano y como Student Activism apunta, generó opiniones diversas entre quienes la vieron. Sin embargo, es difícil imaginar que las respuestas fueran tan diversas como para lograr el número uno entre los temas del momento. Después de todo, el término gozó un auge súbito seguido de una sostenida caída, salvo un peak hacia el final de su historial en Twitter. Este es el registro de la tendencia de “Inception” en Twitter (también obtenido de twendit.com)

 07-13-2010 por 7 horas y 44 minutos
 07-14-2010 por 4 días, 16 horas y 14 minutos
 07-18-2010 por 4 días, 13 horas y 44 minutos
 07-23-2010 por 2 días, 9 horas y 58 minutos
 07-25-2010 por 17 horas y 15 minutos
 07-26-2010 por 4 días, 19 horas y 18 minutos
 07-31-2010 por 20 horas y 33 minutos
 08-1-2010 por 4 días, 10 horas y 32 minutos
 08-5-2010 por 2 días, 11 horas y 30 minutos
 08-8-2010 por 18 horas
 08-9-2010 por 1 día, 1 hora y 45 minutos
 08-10-2010 por 21 horas y 25 minutos
 08-11-2010 por 1 día y 45 minutos
 08-12-2010 por 21 horas y 45 minutos
 08-13-2010 por 13 horas y 29 minutos
 08-14-2010 por 10 horas y 15 minutos
 08-15-2010 por 1 día, 13 horas
 08-16-2010 por 17 horas
 08-17-2010 por 1 día, 4 horas y 30 minutos
 08-18-2010 por 13 horas y 44 minutos
 08-19-2010 por 1 día, 16 horas y 8 minutos
 08-21-2010 por 19 horas y 39 minutos
 08-22-2010 por 21 horas y 29 minutos
 08-23-2010 por 9 horas y 45 minutos
 08-24-2010 por 8 horas y 19 minutos
 08-25-2010 por 14 horas
 08-26-2010 por 30 minutos

Logró ser tema de manera ininterrumpida desde el 8 de agosto hasta el 26 de agosto. Durante este lapso, la popularidad del término generalmente cayó, salvo por un repunte significativo en torno al 17 de agosto. Parece extraño que el algoritmo de Twitter haya identificado algo como tendencia en el contexto de una caída sostenida. Ser tema durante el repunte ciertamente sería plausible, ¿pero por qué durante todo el ciclo de la caída? Sin embargo, las fluctuaciones de “Inception” son casi del mismo orden como el valor promedio, por lo que la mayor parte de los saltos en el comportamiento están relativamente contenidos. Y parece que para ambos, “Inception” y “Oil Spill”, los saltos más significativos fueron suficientes para gatillar el algoritmo de los temas del momento de Twitter, aunque cierto comportamiento sostenido de los términos también fue suficiente para mantenerlos entre los temas del momento.

Ahora, fíjense en la curva roja.

Desde el 28 de agosto al 17 de octubre, #Wikileaks no tuvo mayo actividades, o por lo menos tan poca que resulta imposible de descifrar desde el gráfico. Después, hacia mediados de octubre, el término usado por #Wikileaks atraviesa un pequeño arco (posiblemente en el período de espera antes de la liberación de los documentos sobre Iraq) y tras eso una gran explosión, correspondiente a la filtración de los archivos sobre la guerra en Iraq. Este incremento es increíble y es, en esencia, el mismo tipo de auge que “Inception”  tuvo a mediados de julio. Después de la liberación de los archivos, la actividad enmudeció de forma significativa, retornando a su línea base. Sin embargo, hacia el 21 de noviembre emerge algún ruido, y entonces, el 28 de noviembre, observamos un precipitado y destacado auge en el uso del término #Wikileaks, un legítimo incremento entre el 600 y 800% en su popularidad, eclipsando por lejos el auge de “Inception”. Es difícil no entender este crecimiento como “orgánico”, ya que correspondía al evento real de Wikileaks liberando los cables diplomáticos. Más aún, la semana siguiente presenció grandes fluctuaciones en su popularidad, muy parecidas pero superando a las vistas con “Oil Spill” e “Inception”. Es muy difícil hacer afirmaciones cuantitativas certeras sobre las magnitudes, ya que no puedo descargar los datos en bruto, pero es obvio que el comportamiento de Wikileaks revienta el de las tendencias líderes en Twitter, ya sea medida en “magnitud de la tendencia” (Inception) o en “impacto en el mundo real” (Oil Spill).

Sin embargo, cuando miramos la aparición de #Wikileaks en los temas del momento no encontramos ningún registro de estos eventos:
 07-25-2010 por 16 horas
 07-26-2010 por 20 horas and 30 minutos
 07-28-2010 por 1 hora and 45 minutos
 08-21-2010 por 1 hora and 45 minutos

#Wikileaks no ha sido tendencia desde el 21 de agosto. ¿Cómo puede ser esto? Mientras Inception sin duda generó algunos tweets interesantes, la respuesta a Wikileaks ha sido masiva e internacional. La gente ha discutido sobre negocios, diplomacia, las guerras, la libertad de expresión, la constitución, la ley sueca de violencia sexual, cuentas bancarias suizas, y en todas las lenguas imaginables. ¿Cómo es posible que #Wikileaks no sea tendencia considerando las fluctuaciones en tamaño en comparación  con el comportamiento anterior, la masiva variedad de comentarios y la cantidad de usuarios de Twitter hablando del tema, en comparación con tan “formidables” etiquetas como #thingsimiss y #rappersthatmightbehomeless”?

El único escenario plausible que puedo imaginar en el que #Wikileaks no sea unos de los 10 temas del momento con ese comportamiento es que los otros temas que están entre los 10 primeros tengan auges y caídas más destacadas. Pero ese no parece ser lo que ocurrió.

Por lo tanto, me veo forzado de llegar a una misma conclusión que Student Activism. Bien podría ser que #Wikileaks no esté logrando ser tema del momento porque el algoritmo no lo identifique por cualquier razón. Sin embargo, debo decir que ello significaría que Twitter ha desarrollado posiblemente uno de los más oscuros algoritmos para identificar tendencias en las conversaciones. Si el objetivo del algoritmo era identificar eventos de importancia, popularidad o cualquier otra métrica social de relevancia, Twitter habría errado de manera penosa en este objetivo, y debiera empezar a desarrollar uno nuevo.

Algunos han indicado al hecho que la etiqueta #cablegate fue tendencia entre el 28 y el 30 de noviembre como evidencia de que no está ocurriendo ninguna censura. #cablegate apenas rastrea la actividad de #Wikileaks en Twitter, pero fue registrada pese a tener una magnitud mucho menor.  Así, se puede decir que la “novedad” de #cablegate en comparación con #Wikileaks lo califica para ser incluido por el algoritmo. Sin embargo, tras el auge inicial, #cablegate evolución de la misma manera que hizo Inception, salvo por el hecho de que #cablegate dejó de ser tendencia el 30 de noviembre. Que #cablegate haya sido tendencia no parece un argumento sólido contra la existencia de censura. Uno podría fácilmente argumentar que #cablegate continúa superando #rappersthatmightbehomeless y que ha experimentado grandes fluctuaciones y que su cese es indicador de intervenciones no asociadas al algoritmo. Twitter podría clarificar todo esto publicando algún análisis del algoritmo o ejemplos del funcionamiento del algoritmo con datos de una muestra, o compartiendo una explicación plausible por la vasta diferencia en como el algoritmo funcionó con “Oil Spill” e “Inception” y como lo hizo con “Wikileaks”.

No he prestando mucha atención a instancias en las que podría haber obtenido material adicional para mis reflexiones, como es el caso de Student Activism. Recomiendo enfáticamente leer sus posteos sobre el tema así como sus interacciones con un representante de Twitter. Da grandes detalles en algunos temas. Adicionalmente, su análisis sobre cómo el algoritmo maneja “Sundays” es iluminador. Agradezco y acojo todos los comentarios y feedback para descifrar que está ocurriendo con #Wikileaks.


Tercera Actualización

No tengo ningún análisis Nuevo, pero si unos pocos comentarios generales. Algunos de los comentarios realizados en el post han sido realmente útiles y parecen haber  movido la conversación hacia delante de una manera significativa. Hasta el momento, la sugerencia más plausible e inocua sugiere que a lo mejor los tuiteros usando #Wikileaks están ubicados en sub redes específicas y que éstas no estén siendo identificadas por Twitter. Como este post claramente muestra, las redes de Twitter en el entorno de Wikileaks en junio tenían alta conectividad. Wikileaks, no obstante, no era tan conocido como lo es ahora.

Pienso que una manera de avanzar es realizar un análisis similar de la estructura de red tal como es hoy. El mejor set de datos sería la conectividad de las redes de Twitter a lo largo del tiempo, lo que nos permitiría visualizar la organización de las redes de Wikileaks y realizar afirmaciones significativas sobre el carácter de los eventos principales en Twitter.  Podríamos realizar un análisis similar para los temas que marcan tendencia de manera exitosa. Incluso si el algoritmo es desconocido, uno podría usar esto para transformar el problema en una pregunta experimental. Esto parece podría sustentar o refutar la explicación sobre los “clusters de redes”.

Idealmente, Twitter podría hacer algo como estos, aunque claramente no están obligados a hacerlo. Otras personas podrían generarles otro dolor de cabeza al acusarlos de no preocuparse por la privacidad. No estoy seguro como iniciar un análisis como éste; si alguien tiene información o quiere realizar un análisis como éste, indíquenlo en los comentarios. Parece que una herramienta de este tipo sería de amplia aplicación fiera de Twitter, si es que no existe ya.

Además, Twitter ha realizado dos declaraciones en relación a Wikileaks. En una, han rechazado comentar sobre la viabilidad futura de la cuenta Twitter de Wikileaks. Sería muy bueno si pudiera convertirse en una gran empresa deseosa de poner la Primera Enmienda en su retórica, pero eso es una expectativa alta y pasa por alto la posibilidad que ellos puedan estar intentando evadir sanciones para tener la habilidad de dar espacio a cuentas como Wikileaks y otras similares.

También han rechazado que cualquier intervención humana tenga un rol en la no aparición de #Wikileaks entre los temas del momento, lo que han hecho a través de esta declaración enviada por un comentarista:


"Gracias por su consulta sobre Twitter y #Wikileaks – He incluido una declaración debajo:
Twitter no está censurando #Wikileaks, #cablegate u otros términos relacionados de la lista de temas del momento.
Nuestra lista de Temas está diseñada para ayudar a las personas descubrir las noticias más emergentes dentro de las noticias emergentes a lo largo del mundo, en tiempo real. La lista es generada por un algoritmo que identifica tópicos de los que se está hablando más ahora de lo que estaba ocurriendo previamente.
Hay un conjunto de factores que pueden entrar en juego cuando temas aparentemente populares no logran entrar en los Temas del Momento. A veces tópicos que son populares no entran en los Temas porque su velocidad de conversación (volumen de los Tweets en un momento dado) no es más grande que en las horas y días previos. A veces los tópicos que son genuinamente populares no están lo suficientemente dispersos en el mundo para lograr entrar en la lista. Y en ocasiones, los temas no son tan populares como la gente cree- 
matt graves
director de comunicaciones | twitter
sígueme en: http://www.twitter.com/mgrooves“

No puedo decir que estoy satisfecho con esta explicación / negación. No arroja ninguna luz en el proceso. Sería realmente bueno si pudieran ofrecer explicaciones más específicas para entender porque frases como “Inception” o “Oil Spill” pueden contantemente aparecer en los temas del momento teniendo fluctuaciones demostrables menores y un “volumen constante” más prolongado que #Wikileaks, que es espectacularmente volátil. La idea de las “redes en clusters” parece una buena manera de avanzar. Comenten si lo desean sobre eso.

Este sitio tiene una declaración de Facebook (que parece decir que la cuenta de Wikileaks está segura) y Twitter, así como información sobre indexación de wikileaks.ch entre Google y Bing.

Algunos han sugerido un experimento masivo con nuevas etiquetas para temas relacionados con Wikileaks para ver si estos logran llegar a los Temas del Momento. Creo que un experimento de ese tipo requeriría algunas consideraciones cuidadosas sobre la idea de las “redes en clusters” mencionada antes. Quizá si la gente creara nuevas cuentas y tuiteara las nuevas etiquetas, podría funcionar / orientar a nuevos experimentos con la estructura efectiva de las redes de Twitter. Sea como fuere, esto es muy interesante y un esfuerzo de cooperación valdría sin duda la pena.