MENÚ
Las encuestas rodean nuestra vida: formularios de satisfacción, sondeos con intención de voto, estudios que miden si nos gusta la tortilla de patatas con o sin cebolla… Y ante esta cantidad de investigaciones puede haber dudas de si una encuesta está sesgada intencionadamente. A la hora de hacer un sondeo, las alteraciones pueden operar en distintas fases: en el diseño de la encuesta, en la formulación de preguntas, en la recogida de los datos o en los métodos estadísticos que se empleen posteriormente.
Los expertos consultados consideran que, para saber si una encuesta es fiable, debemos observar la ficha técnica y la formulación de las preguntas. Si no están disponibles, consideran que debemos desconfiar de la información que supuestamente revela.
Sesgos en el diseño de la encuesta: cómo realizar una buena muestra
Las encuestas son técnicas de investigación que se basan en la estadística. Luis Navarro, profesor de Sociología en la Universidad Pablo de Olavide de Sevilla, explica que las encuestas persiguen la “formulación de leyes generales” para el análisis de la sociedad. Para ello, a través de la encuesta se entrevista a una pequeña parte de la población denominada ‘muestra’, que es escogida de manera aleatoria para luego extraer conclusiones generales de la sociedad.
El primer sesgo de una encuesta se puede encontrar en el diseño de la muestra. “Una encuesta puede estar sesgada si no garantiza la representatividad de la población que pretende sondear”, explica Monserrat Guillen, catedrática de Econometría de la Universidad de Barcelona. “Por ejemplo, una encuesta sólo en grandes ciudades estaría sesgada si pretende cubrir a toda la población, ya que no se estaría teniendo en cuenta a municipios más pequeños donde además, en el caso de España, suele vivir población de mayor edad que en las ciudades”, añade.
Ángel Cisneros, sociólogo especializado en análisis de encuestas y maldito que nos ha donado sus superpoderes, explica que en ocasiones puede haber “un sesgo de la selección de la muestra” para que no haya personas de todas las características (edad, sexo, nivel económico…) bien representadas en la muestra. “Esto a veces da lugar a otro ejemplo de mala praxis donde se ‘autocompleta’ la selección de la muestra eliminando la aleatoriedad y realizando las encuestas a personas sobrerrepresentadas o con opiniones muy particulares sobre el tema a encuestar”, indica Cisneros.
Sesgos en la formulación de las preguntas: se debe tener cuidado con el orden de las cuestiones y los adjetivos empleados
El segundo sesgo que se puede encontrar en un sondeo es cómo se han formulado las preguntas. “Hay ‘errores’ que se cometen de manera intencionada para condicionar el resultado del estudio”, explica Ane Aguirre, maldita y socióloga especialista en diseño y análisis de encuestas que nos ha donado sus superpoderes. Aguirre indica qué errores se deben evitar:
No se deben incluir juicios de valor. “Por ejemplo, no es lo mismo preguntar ‘¿Es usted xenófobo/a?’ que preguntar ‘¿Cree que las personas extranjeras vienen más atraídas por la búsqueda de oportunidades laborales o por el cobro de ayudas?’”, pone como ejemplo.
No se debe emitir una opinión dentro de la pregunta. “Si pregunta ‘¿Cómo valora usted el exitoso proyecto llevado a cabo por…?’, estás diciéndole a la persona entrevistada que es ‘exitoso’”.
No se debe dar una información sesgada a la persona encuestada. “Sabiendo que es muy probable que no tenga conocimientos suficientes para poner ese dato en contexto, si preguntamos ‘¿Considera excesivo el gasto realizado por el Gobierno de Pedro Sánchez de 500 millones de euros en el Ministerio de Igualdad?’, se comete el error de introducir la palabra ‘excesivo’ y de dar un dato aislado, sin poner la cantidad en contexto respecto a otros años, otros lugares, otros ministerios, etcétera”, explica.
No se deben dar varias opciones de respuesta sin dar la opción a rechazar la hipótesis de partida. “Si pregunto ‘¿Quién te gustaría que fuese el presidente del Gobierno de España: Sánchez o Feijóo?’, se está dando por hecho que a la persona le gustaría que uno de los dos fuese presidente, por lo que sería muy fácil decir ‘El X% de las personas desea que Sánchez o Feijóo sea presidente’, lo cual no es correcto. Habría que añadir la opción ‘ Ninguno de ellos’”.
Cisneros añade que otro sesgo que hay que tener en cuenta tiene que ver con el orden de las preguntas, ya que las primeras cuestiones podrían influir en las respuestas de las siguientes: “Es común en las encuestas de satisfacción este problema. Si la primera pregunta es sobre la satisfacción general de un servicio, hará que las demás preguntas más específicas tengan que ir en línea con lo que ha respondido la persona, pecando de una ‘coherencia’ que suele ser forzada por la pregunta anterior”.
Sesgos a la hora de realizar las entrevistas: atención con la ‘deseabilidad social’ y la disponibilidad
Los expertos consultados consideran que el estado emocional del entrevistado y la manera de responder a la encuesta (presencial, por teléfono u online) influye en las respuestas. “Una de las dificultades cuando elaboramos encuestas es la dificultad de detectar el cabreo de la gente. Ahí tenemos que reflexionar los que hacemos encuestas. Sobre todo, en el sentido de intentar medir las emociones de la gente, pero en los números es muy difícil reflejar las emociones”, reflexiona Navarro.
Cisneros alerta de que los dos sesgos que más pueden influir en las respuestas son el de deseabilidad social y el de autoridad: “El encuestado busca agradar al entrevistador y responde de la manera en la que sería socialmente aceptable, buscando generar una imagen positiva de sí mismo y para evitar conflictos”.
La disponibilidad o el agotamiento de las personas es también un sesgo importante que se debe evitar, ya que, según los expertos, puede llevar a que una persona responda “con prisas” o de manera aleatoria a las preguntas. Cisneros señala que para paliar los sesgos y contratiempos del entrevistado “hay que contar con buenos profesionales que eviten esos sesgos de autoridad y aceptación social”.
Sesgos en la metodología: la manipulación de la ‘cocina’ estadística
Una vez se han recopilado los datos, el último paso en el que se pueden cometer errores o sesgos intencionados, especialmente en las encuestas electorales, es en los cálculos estadísticos, las técnicas popularmente conocidas como ‘la cocina’ de una encuesta. Navarro utiliza el símil de un detective para explicar lo que se debe evitar: “Como investigadores, no se pueden ‘torturar’ los datos para obtener una ‘confesión forzada’, porque corremos el riesgo de que los resultados obtenidos sean producto del artificio estadístico y no una descripción plausible de la realidad”.
Guillen indica que un principio para evitar esto es la capacidad de poder reproducir los resultados: “Se está poniendo de moda que se pueda acceder a los datos brutos anonimizados (no se sabe quién ha contestado pero sí qué ha dicho), de modo que otros puedan reproducir los cálculos e incluso probar si el resultado obtenido es el mismo que el inicial. Esa es una buena forma de divulgar la información de manera transparente”.
Los expertos consultados coinciden en que hay dos requisitos que se deben cumplir para poder confiar en un sondeo: se debe publicar la ficha técnica con la máxima cantidad de información posible que indique cómo se ha hecho el estudio, qué metodología se ha seguido y cualquier otro dato relevante; además, se debe publicar el cuestionario con las preguntas tal y como se han formulado a los encuestados. Navarro lanza una advertencia: “¿Ustedes comprarían un coche sin conocer su ficha técnica? Entonces con los sondeos igual: no se crean los resultados de una encuesta si no están publicados ni la ficha técnica ni el literal de la formulación de las preguntas”.
En este artículo han colaborado con sus superpoderes el maldito Ángel Cisneros, sociólogo especializado en análisis de encuestas, y Ane Aguirre, socióloga especialista en diseño y análisis de encuestas.
Ane Aguirre forma parte de Superpoderosas, un proyecto de Maldita.es que busca aumentar la presencia de científicas y expertas en el discurso público a través de la colaboración en la lucha contra la desinformación.
Gracias a vuestros superpoderes, conocimientos y experiencia podemos luchar más y mejor contra la mentira. La comunidad de Maldita.es sois imprescindibles para parar la desinformación. Ayúdanos en esta batalla:mándanos los bulos que te lleguen a nuestro servicio de Whatsapp, préstanos tus superpoderes, difunde nuestros desmentidos y hazte Embajador.
