Running Extra Analyses
Realizar análisis adicionales
To address concerns about robustness, the team runs sensitivity analyses and checks whether the main findings hold under alternative specifications. The results help them strengthen the manuscript and support a measured response.
Para responder a las dudas sobre la solidez de los resultados, el equipo realiza análisis de sensibilidad y comprueba si las principales conclusiones se mantienen con especificaciones alternativas. Los resultados les ayudan a reforzar el manuscrito y a preparar una respuesta mesurada.
Diálogo11

The reviewer’s main concern is that our findings may depend on how we defined the comparison group. We can test that directly with a couple of alternative specifications.
La principal preocupación del revisor es que nuestros resultados puedan depender de cómo definimos el grupo de comparación. Podemos comprobarlo directamente con un par de especificaciones alternativas.
I’ve rerun the model using the broader comparison group we discussed. The effect is slightly smaller, but it’s still statistically significant and points in the same direction.
Volví a ejecutar el modelo usando el grupo de comparación más amplio del que hablamos. El efecto es un poco menor, pero sigue siendo estadísticamente significativo y apunta en la misma dirección.
That’s reassuring. What happens if we exclude the observations with the most extreme values? The reviewer seemed especially concerned that a few cases might be driving the result.
Eso tranquiliza. ¿Qué pasa si excluimos las observaciones con los valores más extremos? Al revisor parecía preocuparle especialmente que unos pocos casos pudieran estar determinando el resultado.
I tried that too. The estimate barely changes. I also checked the model with robust standard errors, and the confidence interval remains comfortably away from zero.
También lo probé. La estimación apenas cambia. Además, comprobé el modelo con errores estándar robustos, y el intervalo de confianza sigue estando claramente por encima de cero.
Good. Let’s be precise, though: these checks suggest the result is robust to those choices; they don’t establish that our design rules out every possible source of bias.
Bien. Pero seamos precisos: estas comprobaciones sugieren que el resultado es robusto frente a esas decisiones; no demuestran que nuestro diseño descarte todas las posibles fuentes de sesgo.
Would it help to add a table with all three specifications? That way, readers can compare the estimates instead of having to take our word for it.
¿Serviría añadir una tabla con las tres especificaciones? Así, los lectores podrán comparar las estimaciones en vez de tener que confiar en lo que decimos.
Yes. I can put the alternative models in a supplementary table and summarize the pattern in the main text. We should report the estimates and intervals, not just say they’re similar.
Sí. Puedo poner los modelos alternativos en una tabla complementaria y resumir el patrón en el texto principal. Deberíamos presentar las estimaciones y los intervalos, no limitarnos a decir que son parecidos.
Agreed. We should also explain why these alternatives address the reviewer’s concern, especially how changing the comparison group tests the sensitivity of our conclusions.
De acuerdo. También deberíamos explicar por qué estas alternativas responden a la preocupación del revisor, sobre todo cómo cambiar el grupo de comparación pone a prueba la sensibilidad de nuestras conclusiones.
I’ll draft that paragraph. I’ll acknowledge that the broader group produces a somewhat attenuated estimate, then clarify that the substantive conclusion is unchanged.
Redactaré ese párrafo. Reconoceré que el grupo más amplio produce una estimación algo menor y luego aclararé que la conclusión de fondo no cambia.
One caveat: the extreme-value check is useful, but it isn’t a substitute for discussing the limitations of our sampling strategy. We should keep those issues separate.
Una salvedad: comprobar los valores extremos es útil, pero no sustituye hablar de las limitaciones de nuestra estrategia de muestreo. Deberíamos tratar esos temas por separado.
Exactly. We’ll present the analyses as evidence that the finding isn’t driven by those specific modeling choices, while being candid about what they cannot resolve.
Exactamente. Presentaremos los análisis como evidencia de que el resultado no depende de esas decisiones específicas de modelización, pero hablaremos con franqueza de lo que no pueden resolver.
Vocabulario8
- alternative specificationsespecificaciones alternativas
Different ways of setting up or defining a model. Here, the team uses them to see whether its findings depend on particular analytical choices.
Son distintas maneras de plantear o definir un modelo. En este caso, el equipo las usa para comprobar si los resultados dependen de determinadas decisiones analíticas.
- statistically significantestadísticamente significativo
A result is statistically significant when the analysis suggests it is unlikely to be due to random variation alone. The phrase describes evidence in the data, not proof that a conclusion is true.
Un resultado es estadísticamente significativo cuando el análisis indica que es poco probable que se deba únicamente a la variación aleatoria. La expresión describe la evidencia de los datos, no demuestra que una conclusión sea cierta.
- extreme valuesvalores extremos
Observations that are unusually high or low compared with most of the data. Researchers may check whether these cases have an outsized influence on results.
Son observaciones mucho más altas o bajas de lo habitual en comparación con la mayoría de los datos. Los investigadores pueden comprobar si estos casos influyen de manera desproporcionada en los resultados.
- robust standard errorserrores estándar robustos
A method for calculating uncertainty that can work better when data do not meet certain model assumptions. Here, the team checks whether its confidence interval remains similar under this method.
Es un método para calcular la incertidumbre que puede funcionar mejor cuando los datos no cumplen ciertos supuestos del modelo. Aquí, el equipo comprueba si el intervalo de confianza sigue siendo parecido al usar este método.
- sensitivity of our conclusionssensibilidad de nuestras conclusiones
How much a conclusion might change when the researchers alter their assumptions or analytical choices. Testing sensitivity helps show whether findings depend on a particular specification.
Se refiere a cuánto podría cambiar una conclusión si los investigadores modifican sus supuestos o decisiones analíticas. Poner a prueba esa sensibilidad ayuda a mostrar si los resultados dependen de una especificación concreta.
- attenuated estimateestimación atenuada
An estimate that is smaller or weaker than another estimate. It can describe a reduced effect without implying that the direction or overall conclusion has changed.
Es una estimación menor o más débil que otra. Puede describir una reducción del efecto sin implicar que hayan cambiado su dirección o la conclusión general.
- sampling strategyestrategia de muestreo
The method used to select observations or participants for a study. Its limitations may affect how broadly the results apply.
Es el método utilizado para seleccionar observaciones o participantes para un estudio. Sus limitaciones pueden afectar hasta qué punto se pueden generalizar los resultados.
- candid about what they cannot resolvehablar con franqueza de lo que no pueden resolver
Open and clear about which questions the analyses do not answer. This phrase helps researchers describe evidence carefully without overstating what it proves.
Significa ser claros y sinceros sobre las preguntas que los análisis no responden. Esta expresión ayuda a describir la evidencia con cuidado, sin exagerar lo que demuestra.
Frases clave8
- 1
We can test that directly with a couple of alternative specifications.
We can test that directly with a couple of alternative specifications.
This sentence proposes a concrete way to address a concern. Reuse the structure “We can test that directly with…” to suggest a targeted check.
Esta frase propone una manera concreta de abordar una preocupación. Puedes reutilizar la estructura “We can test that directly with…” para sugerir una comprobación específica.
- 2
The effect is slightly smaller, but it’s still statistically significant and points in the same direction.
The effect is slightly smaller, but it’s still statistically significant and points in the same direction.
This gives a balanced summary: the result has changed somewhat, but its direction and statistical significance remain. Use this structure to report nuanced findings without overstating them.
Esta frase ofrece un resumen equilibrado: el resultado ha cambiado un poco, pero se mantienen su dirección y su significación estadística. Usa esta estructura para comunicar resultados matizados sin exagerarlos.
- 3
The estimate barely changes.
The estimate barely changes.
This is a concise way to say that a result is stable after an analysis is adjusted. You can replace “estimate” with another quantity that remains nearly the same.
Esta es una forma concisa de decir que un resultado se mantiene estable después de ajustar un análisis. Puedes sustituir “estimate” por otra cantidad que apenas cambie.
- 4
Let’s be precise, though: these checks suggest the result is robust to those choices; they don’t establish that our design rules out every possible source of bias.
Let’s be precise, though: these checks suggest the result is robust to those choices; they don’t establish that our design rules out every possible source of bias.
This sentence distinguishes supportive evidence from proof and clearly states a limitation. Use “suggest …; they don’t establish …” to make a careful, measured claim.
Esta frase distingue entre la evidencia que respalda una conclusión y una prueba definitiva, y señala claramente una limitación. Usa “suggest …; they don’t establish …” para formular una afirmación prudente y mesurada.
- 5
We should report the estimates and intervals, not just say they’re similar.
We should report the estimates and intervals, not just say they’re similar.
This emphasizes transparent reporting by asking for specific results rather than a vague summary. The pattern “We should report X, not just say Y” is useful when requesting evidence.
Esta frase promueve la transparencia al pedir resultados concretos en lugar de un resumen impreciso. La estructura “We should report X, not just say Y” sirve para pedir que se presenten pruebas.
- 6
I’ll acknowledge that the broader group produces a somewhat attenuated estimate, then clarify that the substantive conclusion is unchanged.
I’ll acknowledge that the broader group produces a somewhat attenuated estimate, then clarify that the substantive conclusion is unchanged.
This explains how to present a smaller estimate while noting that the main interpretation remains the same. Reuse “acknowledge that…, then clarify that…” to organize a balanced response.
Esta frase explica cómo presentar una estimación menor y señalar al mismo tiempo que la interpretación principal sigue siendo la misma. Puedes reutilizar “acknowledge that…, then clarify that…” para organizar una respuesta equilibrada.
- 7
One caveat: the extreme-value check is useful, but it isn’t a substitute for discussing the limitations of our sampling strategy.
One caveat: the extreme-value check is useful, but it isn’t a substitute for discussing the limitations of our sampling strategy.
This separates what one analysis can show from a different issue that still needs attention. “One caveat” is a useful way to introduce a qualification in professional discussion.
Esta frase separa lo que puede mostrar un análisis de otro asunto que también requiere atención. “One caveat” es una forma útil de introducir una salvedad en una conversación profesional.
- 8
We’ll present the analyses as evidence that the finding isn’t driven by those specific modeling choices, while being candid about what they cannot resolve.
We’ll present the analyses as evidence that the finding isn’t driven by those specific modeling choices, while being candid about what they cannot resolve.
This sentence presents the analyses’ contribution and their limits in the same measured statement. Reuse “as evidence that…, while being candid about…” to communicate support without claiming too much.
Esta frase presenta tanto la contribución de los análisis como sus limitaciones, de manera mesurada. Puedes reutilizar “as evidence that…, while being candid about…” para comunicar que hay respaldo sin afirmar más de lo que permiten los datos.