Demostración del impacto

Con la creciente presión que existe sobre los bosques del mundo y la cada vez mayor demanda de pruebas fehacientes de impactos positivos, para el FSC es primordial poder verificar y comunicar los resultados de la certificación.

También es importante para el FSC comprender los efectos que tiene la certificación en el terreno, para facilitar aprendizajes futuros y permitir una toma de decisiones informada y orientada a impactos, como parte del desarrollo del sistema, por ejemplo, en los procesos de elaboración de estándares.

A lo largo de los años, el FSC ha estado recolectando y analizando un amplio rango de estudios científicos sobre su propio sistema de certificación, como parte de las actividades de monitoreo y evaluación. Para incrementar el acceso interno y externo a la información relevante que contienen dichos estudios, hemos decidido recopilar sus resultados individuales para proporcionar una lista integral, pero fácilmente accesible, de hallazgos acerca de los resultados de la certificación FSC.

La comunidad científica produce una gran diversidad de estudios sobre el sistema FSC, que contemplan diferentes temas y utilizan diversas metodologías.

Para el Panel Informativo sobre Impactos hemos decidido enfocar nuestra selección en aquellos estudios que comparan los bosques y sus valores entre superficies forestales certificadas y no certificadas. Se trata de los documentos científicos más relevantes, que pueden permitir al personal y a los actores sociales del FSC aprender de los impactos de la certificación.

Aprender de la ciencia requiere saber cómo interpretar los resultados y qué se puede aprender. Esto depende en gran medida del tipo de diseño de investigación utilizado.

Los investigadores pueden utilizar varios tipos de diseños de investigación en el campo. No todos son igual de rigurosos y no proporcionan el mismo nivel de evidencia científica para sacar conclusiones sobre el impacto de la certificación.

Hemos utilizado una tipología de pruebas que clasifica los estudios de acuerdo con el diseño de la investigación y que ayuda a definir si los resultados pueden estar causados o simplemente están correlacionados con la certificación. Esta tipología de pruebas ha sido desarrollada originalmente por la Iniciativa VIA y actualmente se utiliza como metodología guía en la Plataforma Evidensia y en la Iniciativa sobre la Eficacia de la Conservación.

Utilizando esta tipología hemos sido capaces de dividir los resultados entre evidencias más fuertes y más débiles, lo que nos ha permitido mostrar más datos sin dejar de ser transparentes sobre la rigurosidad de cada uno de ellos.

A continuación se presentan las definiciones para los diferentes diseños de investigación:

Estudio empírico – Ensayo aleatorio controlado (EAC): Estudio que evalúa los resultados/impactos de la certificación FSC, comparando bosques certificados y no certificados, antes y después de una certificación y en el que las observaciones se asignan a las categorías certificado o no certificado de forma aleatoria, para equilibrar las distribuciones covariantes de los factores observados y no observados y eliminar potenciales sesgos. Los EAC son escasos porque las operaciones certificadas normalmente no son una muestra aleatoria de bosques (sesgo de selección), por lo que la aleatoriedad muchas veces no es posible. Dichos estudios pueden mostrar causalidad entre la certificación FSC y el resultado, y se pueden utilizar expresiones como “como resultado”, “causado”, “conduce a”, “reducido”, “aumentado”.

Estudio empírico – Con control emparejado, datos recolectados después de la certificación: Estudio que evalúa los resultados/impactos de la certificación FSC, comparando bosques certificados y no certificados en un determinado momento después de la certificación, con covariables consideradas a través del emparejamiento. El emparejamiento se realiza durante el desarrollo del diseño de la investigación, de manera que las unidades de comparación (por ejemplo, los bosques) sean lo más parecidas posible en la mayor parte de los aspectos importantes y, de forma ideal, difieran solo en términos de la presencia del estatus de certificación. El proceso de emparejamiento garantiza que los factores contextuales aparte de la certificación no influyen en los resultados. Dichos estudios pueden mostrar causalidad entre la certificación FSC y el resultado, y se pueden utilizar expresiones como “como resultado”, “causado”, “conduce a”, “reducido”, “aumentado”.

Estudio empírico – Control no emparejado, pero considerando algunas variables de confusión - datos recolectados después de la certificación: Estudio que evalúa los resultados/impactos de la certificación FSC, comparando bosques certificados y no certificados en un determinado momento después de la certificación, y considerando algunas variables de confusión. Las variables de confusión, llamadas también covariables, son factores que probablemente influyan en el resultado de las comparaciones. Se consideran y/o cuantifican durante la recolección de datos y se integran en el análisis estadístico. En determinadas circunstancias, el análisis estadístico puede aislar y cuantificar el efecto de cada variable y covariable. Dichos estudios pueden mostrar una correlación entre la certificación FSC y el resultado relativamente fiable, especialmente en casos en los que se tiene una buena comprensión del sistema y en los que la mayoría de los sesgos potenciales son medibles. Se pueden utilizar expresiones como “está asociado con”, “se encontró que tiene”, “está correlacionado con”, “incluso considerando [las variables de confusión x e y…], la certificación está correlacionada con”.

Estudio empírico – Control no emparejado - datos recolectados después de la certificación: Estudio que evalúa los resultados/impactos de la certificación FSC, comparando bosques certificados y no certificados en un determinado momento después de la certificación, sin considerar variables de confusión. Este tipo de estudio puede potencialmente mostrar una correlación real entre la certificación y el resultado, aunque es posible que mecanismos desconocidos dirijan la correlación, como la auto-selección u otro tipo de sesgo sistemático. No se pueden emplear expresiones que impliquen ningún tipo de causalidad. En cambio, pueden utilizarse términos como “está asociado con”, “se encontró que tiene”, “está correlacionado con”.

Estudio empírico – Sin control, datos recolectados antes y después de la certificación: Estudio que evalúa los resultados de la certificación en un bosque certificado, pero sin compararlo con una unidad no certificada. Este tipo de estudio compara los resultados antes y después de que haya sido implementada la certificación. Por lo tanto, es difícil asignar ningún resultado a la implementación actual de la intervención. Sin embargo, dichos estudios pueden ser muy útiles para conocer los mecanismos potenciales que podrían vincular una intervención y un resultado. No se pueden emplear expresiones que impliquen ningún tipo de causalidad. En cambio, pueden utilizarse términos como “se encontró que tiene”.

Estudio empírico – Sin control, datos recolectados después de la certificación: Estudio que evalúa los resultados de la certificación en un bosque certificado, pero sin compararlo con una unidad no certificada, ni con el estatus previo a la certificación. Por lo tanto, es difícil asignar ningún resultado a la implementación actual de la intervención. Dichos estudios tienen un perfil descriptivo y no permiten generalizaciones. No se pueden emplear expresiones que impliquen ningún tipo de causalidad. En cambio, pueden utilizarse términos como “se encontró que tiene”.

Estudio empírico – Cualitativo: Descripción empírica, resultado de la observación, de la causa y el efecto de una intervención sin una medición de cambio o diferencia realizada por muestreo. 

Estudio de modelización- Comparación de dos escenarios: Estudio que utiliza información empírica sobre la certificación FSC para crear modelos o extrapolar los resultados de dos escenarios a una escala más amplia o en relación con otras variables dependientes.

Hemos clasificado los estudios en función de su diseño de investigación y sus tipos de pruebas, a la hora de utilizarlos para el Panel Informativo sobre Impactos.

La siguiente tabla resume los tipos de pruebas que pueden encontrarse en el Panel Informativo y las categorías de nivel de evidencia asociadas.