MENÚ
Navegando por internet es común encontrarse con muchas encuestas en páginas web. Por ejemplo, al final de las noticias de los periódicos o en redes sociales, como Twitter o Facebook.¡Ojo con ellas! Que mucha gente pueda votar no implica que sus resultados sean válidos, fiables o representativos.
Maldita.es ha contactado con varios expertos en ciencias sociales y análisis demoscópico que nos han dado algunas de las claves para identificar una buena encuesta: que incluya una ficha metodológica, que la muestra de encuestados esté bien seleccionada o que las preguntas no estén sesgadas hacia determinadas respuestas. Es raro que todas estas claves se den en una encuesta publicada en una red social o en una página web en abierto.
Una encuesta tiene que tener algún tipo de control en la selección de personas con el fin de que se represente a toda la población
El Centro de Investigaciones Sociólogicas (CIS) define una encuesta como una técnica de recogida de datos mediante un cuestionario a un grupo de personas. Dice que la selección de estas personas debe seguir unas reglas con el fin de que esta muestra sea representativa de la población.
Luis Navarro, responsable del área de Sociología de la Universidad Pablo de Olavide, está de acuerdo con esta definición. Este experto cree que es una “barbaridad” llamar encuesta a lanzar una pregunta para que cualquiera pueda responder “sin ningún tipo de control”.
Según Navarro, si se lanza “a boleo” una pregunta por Twitter, se podría decir que es un “estudio enviado por Twitter y que se han obtenido respuestas de X personas”, pero estas personas no serían representativas de la población.
Aunque la encuesta se lance por Twitter, sí puede ser representativa, sí se cumplen determinadas reglas, como tener un marco muestral, definir el tipo de muestreo, definir el margen de error… Este experto cree que lo se debe hacer es “no mentir” y decir claramente si un estudio es probabilístico o si simplemente se ha puesto una pregunta y ha respondido quien ha querido.
Endika Núñez, analista de datos y creador de The Electoral Report, añade que, una encuesta lanzada en Twitter para tus seguidores, ni siquiera es representativa de todo Twitter. No vale para extrapolar que “los usuarios de Twitter creen algo”. Asegura que para que sea fiable hay que diseñar la muestra y luego realizar el trabajo de campo.
La ficha técnica o metodológica tiene que estar incluida en la presentación de las respuestas
Desde Maldita.es hemos contactado con la empresa demoscópica GAD3 y nos han explicado que uno de los requisitos fundamentales para que una encuesta sea considerada válida y fiable es conocer cuándo y cómo se han obtenido las respuestas.
GAD3 explica que es necesario incluir una ficha técnica o metodológica en cada encuesta. Esta debe incluir características básicas, como el número de participantes, el método de recogida de datos, las fechas en las que se ha hecho la encuesta o el margen de error de la misma.
El profesor de ciencias políticas de la Universidad Carlos III de Madrid (UC3M), Pablo Simón, coincide enque lo “mínimo exigible” que debería tener una encuesta es una ficha técnica que incluya variables como los criterios de edad, el municipio o el género de las persona encuestadas.
Las encuestas en redes sociales, como Twitter, por ejemplo, no incluyen todas estas cosas. Sólo puedes ver el número de votos recibidos, pero no las características de las personas que han respondido.
La selección de la muestra es un factor clave: las encuestas de redes sociales no suelen ser representativas de toda la población
Endika Núñez, analista de datos, explica que las encuestas en medios de comunicación o en redes sociales no suelen tener mucho valor porque están dirigidas a un público muy concreto, y que, por tanto, “no son muestras representativas de la población”.
Este experto cree que es complicado tener en internet una muestra representativa en determinados asuntos porque, por ejemplo, hay más gente mayor que no está respondiendo por no tener acceso a este medio.
Cuando se hacen encuestas electorales, por ejemplo, la muestra tiene que ser representativa a nivel territorial. Silvia Claveria, politóloga y profesora del Departamento de Ciencias Sociales de la Universidad Carlos III de Madrid (UC3M), detalla que “para predecir escaños es necesario tener una muestra representativa en cada provincia”, ya que es la división en el sistema electoral español y, por lo tanto, para poder realizar esa estimación, es necesaria una muestra representativa en cada una. Sin embargo, Claveria asegura que esto no se hace casi nunca, “exceptuando al CIS”.
Es importante señalar el error de la muestra
Endika Núñez también indica que en las encuestas es importante señalar el margen de error que conlleva la muestra de personas encuestadas. El analista explica que es clave tener una muestra lo más parecida a la población que se quiere representar, ya que no es posible preguntar a todo el mundo. Nos pone el ejemplo de que si en España hay un porcentaje determinado de jubilados, esta proporción también debería aparecer en la muestra seleccionada.
Por ejemplo, si vamos a hacer una encuesta que tiene que ser representativa de un país y en ese país el 30% de su población es mayor de 65 años, en nuestra muestra de personas encuestadas los mayores de 65 años deben acercarse lo más posible al 30%. Aunque también hay que tener en cuenta que todos estos sesgos se pueden corregir mediante la “cocina”. En Maldita.es ya os contamos qué es la famosa “cocina” del CIS y en qué ocasiones se suele hacer.
El canal que se usa para la encuesta influye en las respuestas
La modalidad web permite difundir las encuestas con un coste relativamente bajo y esto también permite tener un gran número de respuestas. Esta estrategia puede comprometer en ocasiones los resultados, ya que el canal que se use para hacer la encuesta puede generar sesgos. No es lo mismo una encuesta hecha en persona que por vía telefónica o por internet.
En un estudio elaborado por el Departamento de Sociología de la Universidad del País Vasco, los autores diseñaron una encuesta y la hicieron a la vez de forma online y telefónica. Ambos cuestionarios eran idénticos y preguntaban la opinioń sobre la regulación de la eutanasia y el suicidio asistido. Según indican, la primera gran diferencia es que en la encuesta online el porcentaje de personas que respondió fue muy bajo (10,4%) frente al 87% que sí lo hicieron por teléfono. Otra de las diferencias que se indican en este estudio es que entre las personas que respondieron online había un un mayor porcentaje de personas en contra de la regulación de la eutanasia mientras que entre las que respondieron por teléfono había más personas que preferían no posicionarse.
Una de las conclusiones del estudio es que, en las encuestas web, “las personas con opiniones más definidas y extremas pueden mostrarse más proclives a contestar una encuesta que las personas con opiniones menos definidas”, a las que el cuestionario puede generar menos interés.
Según el CIS, para conocer el voto, por ejemplo, es deseable y más fiable apostar por encuestas telefónicas, que permiten tener una conversación más cercana y alcanza a personas de edad más avanzada. Desde el CIS también explican que las encuestas por ordenador podrían ser interesantes para preguntar sobre los usos de internet, ya que mucha gente mayor probablemente no responderá, pero también usan menos internet.
El sesgo de la pregunta: la forma en que se plantea puede conducir a una respuesta determinada
No sólo el canal que se usa para realizar la encuesta o que esta tenga una muestra representativa y una ficha técnica bien realizada influye en las respuestas. De hecho, las propias preguntas y cómo están formuladas pueden tener mucho que ver con los resultados que arroje una encuesta, ya que en muchas ocasiones pueden incitar a una respuesta concreta. En ocasiones también pueden influir nuestros sesgos cognitivos.
En un artículo publicado en The Conversation, el sociólogo Luis Navarro, plantea un caso hipotético. Si en un períodico se lee que el 70% de los ciudadanos valora bien la gestión del Gobierno sobre la pandemia, este titular podría interpretarse de una manera u otra dependiendo del tipo de pregunta que se hubiera hecho. Da dos ejemplos de pregunta:
- “En general, ¿podría decirme cómo valora la gestión del Gobierno en España con respecto a la pandemia actual? ¿Muy bien, bien, regular, mal o muy mal?”
- “En general, sabiendo que estamos en una situación muy complicada a nivel mundial, ¿cree que el Gobierno de España está gestionando bien la pandemia actual? ¿Sí o No?”
Las respuestas serían distintas si se utilizara la pregunta del ejemplo 1 o del ejemplo 2, ya que la segunda aporta una información extra con la intención de obtener respuestas positivas. Se ve muy claro en este fragmento de la serie británica 'Sí, primer ministro' (1986-1988):
