Running Extra Analyses
Zusätzliche Analysen durchführen
To address concerns about robustness, the team runs sensitivity analyses and checks whether the main findings hold under alternative specifications. The results help them strengthen the manuscript and support a measured response.
Um Bedenken hinsichtlich der Robustheit auszuräumen, führt das Team Sensitivitätsanalysen durch und prüft, ob die zentralen Ergebnisse auch bei alternativen Spezifikationen Bestand haben. Die Ergebnisse helfen, das Manuskript zu stärken und eine ausgewogene Antwort zu formulieren.
Dialog11

The reviewer’s main concern is that our findings may depend on how we defined the comparison group. We can test that directly with a couple of alternative specifications.
Der wichtigste Einwand des Reviewers ist, dass unsere Ergebnisse davon abhängen könnten, wie wir die Vergleichsgruppe definiert haben. Das können wir direkt mit ein paar alternativen Spezifikationen prüfen.
I’ve rerun the model using the broader comparison group we discussed. The effect is slightly smaller, but it’s still statistically significant and points in the same direction.
Ich habe das Modell mit der breiter gefassten Vergleichsgruppe, über die wir gesprochen haben, noch einmal gerechnet. Der Effekt ist etwas kleiner, aber immer noch statistisch signifikant und weist in dieselbe Richtung.
That’s reassuring. What happens if we exclude the observations with the most extreme values? The reviewer seemed especially concerned that a few cases might be driving the result.
Das ist beruhigend. Was passiert, wenn wir die Beobachtungen mit den extremsten Werten ausschließen? Der Reviewer schien besonders besorgt zu sein, dass das Ergebnis von ein paar Fällen beeinflusst wird.
I tried that too. The estimate barely changes. I also checked the model with robust standard errors, and the confidence interval remains comfortably away from zero.
Das habe ich auch ausprobiert. Die Schätzung verändert sich kaum. Außerdem habe ich das Modell mit robusten Standardfehlern geprüft, und das Konfidenzintervall liegt weiterhin deutlich von null entfernt.
Good. Let’s be precise, though: these checks suggest the result is robust to those choices; they don’t establish that our design rules out every possible source of bias.
Gut. Wir sollten aber genau sein: Diese Prüfungen legen nahe, dass das Ergebnis gegenüber diesen Entscheidungen robust ist. Sie zeigen nicht, dass unser Studiendesign jede mögliche Verzerrungsquelle ausschließt.
Would it help to add a table with all three specifications? That way, readers can compare the estimates instead of having to take our word for it.
Wäre es hilfreich, eine Tabelle mit allen drei Spezifikationen hinzuzufügen? So können die Leserinnen und Leser die Schätzungen vergleichen, statt uns einfach glauben zu müssen.
Yes. I can put the alternative models in a supplementary table and summarize the pattern in the main text. We should report the estimates and intervals, not just say they’re similar.
Ja. Ich kann die alternativen Modelle in eine Zusatztabelle aufnehmen und das Muster im Haupttext zusammenfassen. Wir sollten die Schätzungen und Konfidenzintervalle angeben und nicht nur sagen, dass sie ähnlich sind.
Agreed. We should also explain why these alternatives address the reviewer’s concern, especially how changing the comparison group tests the sensitivity of our conclusions.
Einverstanden. Wir sollten auch erklären, warum diese Alternativen auf den Einwand des Reviewers eingehen – insbesondere, wie die veränderte Vergleichsgruppe prüft, wie sensibel unsere Schlussfolgerungen sind.
I’ll draft that paragraph. I’ll acknowledge that the broader group produces a somewhat attenuated estimate, then clarify that the substantive conclusion is unchanged.
Ich entwerfe den Absatz. Ich werde erwähnen, dass die breiter gefasste Gruppe eine etwas abgeschwächte Schätzung ergibt, und dann klarstellen, dass sich an der inhaltlichen Schlussfolgerung nichts ändert.
One caveat: the extreme-value check is useful, but it isn’t a substitute for discussing the limitations of our sampling strategy. We should keep those issues separate.
Ein Vorbehalt: Die Prüfung der Extremwerte ist hilfreich, ersetzt aber nicht die Diskussion der Einschränkungen unserer Stichprobenstrategie. Diese Fragen sollten wir getrennt behandeln.
Exactly. We’ll present the analyses as evidence that the finding isn’t driven by those specific modeling choices, while being candid about what they cannot resolve.
Genau. Wir stellen die Analysen als Beleg dafür dar, dass der Befund nicht auf diese spezifischen Modellierungsentscheidungen zurückzuführen ist, und legen zugleich offen dar, was sie nicht klären können.
Wortschatz8
- alternative specificationsalternative Spezifikationen
Different ways of setting up or defining a model. Here, the team uses them to see whether its findings depend on particular analytical choices.
Damit sind verschiedene Möglichkeiten gemeint, ein Modell aufzusetzen oder zu definieren. Hier nutzt das Team sie, um zu prüfen, ob die Ergebnisse von bestimmten analytischen Entscheidungen abhängen.
- statistically significantstatistisch signifikant
A result is statistically significant when the analysis suggests it is unlikely to be due to random variation alone. The phrase describes evidence in the data, not proof that a conclusion is true.
Ein Ergebnis ist statistisch signifikant, wenn die Analyse darauf hindeutet, dass es wahrscheinlich nicht allein auf zufällige Schwankungen zurückzuführen ist. Der Begriff beschreibt, welche Hinweise die Daten liefern – er beweist nicht, dass eine Schlussfolgerung wahr ist.
- extreme valuesExtremwerte
Observations that are unusually high or low compared with most of the data. Researchers may check whether these cases have an outsized influence on results.
Beobachtungen, die im Vergleich zu den meisten Daten ungewöhnlich hoch oder niedrig sind. Forschende prüfen mitunter, ob solche Fälle die Ergebnisse überproportional beeinflussen.
- robust standard errorsrobuste Standardfehler
A method for calculating uncertainty that can work better when data do not meet certain model assumptions. Here, the team checks whether its confidence interval remains similar under this method.
Ein Verfahren zur Berechnung der Unsicherheit, das besser funktionieren kann, wenn die Daten bestimmte Modellannahmen nicht erfüllen. Hier prüft das Team, ob das Konfidenzintervall bei Anwendung dieses Verfahrens ähnlich bleibt.
- sensitivity of our conclusionsSensitivität unserer Schlussfolgerungen
How much a conclusion might change when the researchers alter their assumptions or analytical choices. Testing sensitivity helps show whether findings depend on a particular specification.
Damit ist gemeint, wie stark sich eine Schlussfolgerung ändern könnte, wenn Forschende ihre Annahmen oder analytischen Entscheidungen anpassen. Sensitivitätsprüfungen zeigen, ob die Ergebnisse von einer bestimmten Spezifikation abhängen.
- attenuated estimateabgeschwächte Schätzung
An estimate that is smaller or weaker than another estimate. It can describe a reduced effect without implying that the direction or overall conclusion has changed.
Eine Schätzung, die kleiner oder schwächer ausfällt als eine andere. Der Ausdruck kann einen geringeren Effekt beschreiben, ohne anzudeuten, dass sich die Richtung oder die Gesamtschlussfolgerung geändert hat.
- sampling strategyStichprobenstrategie
The method used to select observations or participants for a study. Its limitations may affect how broadly the results apply.
Das Verfahren, mit dem Beobachtungen oder Teilnehmende für eine Studie ausgewählt werden. Einschränkungen dieses Verfahrens können beeinflussen, wie weit sich die Ergebnisse verallgemeinern lassen.
- candid about what they cannot resolveoffen darlegen, was sie nicht klären können
Open and clear about which questions the analyses do not answer. This phrase helps researchers describe evidence carefully without overstating what it proves.
Klar und offen benennen, welche Fragen die Analysen nicht beantworten. Mit dieser Formulierung können Forschende die Aussagekraft der Ergebnisse sorgfältig beschreiben, ohne zu übertreiben, was sie belegen.
Wichtige Sätze8
- 1
We can test that directly with a couple of alternative specifications.
Das können wir direkt mit ein paar alternativen Spezifikationen prüfen.
This sentence proposes a concrete way to address a concern. Reuse the structure “We can test that directly with…” to suggest a targeted check.
Mit diesem Satz schlägst du eine konkrete Möglichkeit vor, auf einen Einwand einzugehen. Mit der Struktur “We can test that directly with…” kannst du eine gezielte Überprüfung vorschlagen.
- 2
The effect is slightly smaller, but it’s still statistically significant and points in the same direction.
Der Effekt ist etwas kleiner, aber immer noch statistisch signifikant und weist in dieselbe Richtung.
This gives a balanced summary: the result has changed somewhat, but its direction and statistical significance remain. Use this structure to report nuanced findings without overstating them.
Der Satz fasst das Ergebnis ausgewogen zusammen: Es hat sich etwas verändert, aber Richtung und statistische Signifikanz sind gleich geblieben. Diese Struktur hilft dir, differenzierte Ergebnisse zu beschreiben, ohne sie zu übertreiben.
- 3
The estimate barely changes.
Die Schätzung verändert sich kaum.
This is a concise way to say that a result is stable after an analysis is adjusted. You can replace “estimate” with another quantity that remains nearly the same.
So kannst du kurz sagen, dass ein Ergebnis stabil bleibt, nachdem eine Analyse angepasst wurde. Du kannst “estimate” durch eine andere Größe ersetzen, die sich kaum verändert.
- 4
Let’s be precise, though: these checks suggest the result is robust to those choices; they don’t establish that our design rules out every possible source of bias.
Wir sollten aber genau sein: Diese Prüfungen legen nahe, dass das Ergebnis gegenüber diesen Entscheidungen robust ist. Sie zeigen nicht, dass unser Studiendesign jede mögliche Verzerrungsquelle ausschließt.
This sentence distinguishes supportive evidence from proof and clearly states a limitation. Use “suggest …; they don’t establish …” to make a careful, measured claim.
Der Satz unterscheidet zwischen unterstützenden Hinweisen und einem Beweis und benennt klar eine Einschränkung. Mit “suggest …; they don’t establish …” kannst du eine vorsichtige, ausgewogene Aussage formulieren.
- 5
We should report the estimates and intervals, not just say they’re similar.
Wir sollten die Schätzungen und Konfidenzintervalle angeben und nicht nur sagen, dass sie ähnlich sind.
This emphasizes transparent reporting by asking for specific results rather than a vague summary. The pattern “We should report X, not just say Y” is useful when requesting evidence.
Der Satz fordert eine transparente Berichterstattung mit konkreten Ergebnissen statt einer vagen Zusammenfassung. Die Struktur “We should report X, not just say Y” ist hilfreich, wenn du um Belege bittest.
- 6
I’ll acknowledge that the broader group produces a somewhat attenuated estimate, then clarify that the substantive conclusion is unchanged.
Ich werde erwähnen, dass die breiter gefasste Gruppe eine etwas abgeschwächte Schätzung ergibt, und dann klarstellen, dass sich an der inhaltlichen Schlussfolgerung nichts ändert.
This explains how to present a smaller estimate while noting that the main interpretation remains the same. Reuse “acknowledge that…, then clarify that…” to organize a balanced response.
Der Satz erklärt, wie du eine kleinere Schätzung darstellen und zugleich darauf hinweisen kannst, dass die wichtigste Interpretation gleich bleibt. Mit “acknowledge that…, then clarify that…” kannst du eine ausgewogene Antwort strukturieren.
- 7
One caveat: the extreme-value check is useful, but it isn’t a substitute for discussing the limitations of our sampling strategy.
Ein Vorbehalt: Die Prüfung der Extremwerte ist hilfreich, ersetzt aber nicht die Diskussion der Einschränkungen unserer Stichprobenstrategie.
This separates what one analysis can show from a different issue that still needs attention. “One caveat” is a useful way to introduce a qualification in professional discussion.
Der Satz trennt, was eine Analyse zeigen kann, von einem anderen Punkt, der weiterhin behandelt werden muss. “One caveat” ist eine nützliche Wendung, um in einer professionellen Diskussion eine Einschränkung anzusprechen.
- 8
We’ll present the analyses as evidence that the finding isn’t driven by those specific modeling choices, while being candid about what they cannot resolve.
Wir stellen die Analysen als Beleg dafür dar, dass der Befund nicht auf diese spezifischen Modellierungsentscheidungen zurückzuführen ist, und legen zugleich offen dar, was sie nicht klären können.
This sentence presents the analyses’ contribution and their limits in the same measured statement. Reuse “as evidence that…, while being candid about…” to communicate support without claiming too much.
Der Satz beschreibt zugleich, was die Analysen beitragen und wo ihre Grenzen liegen. Mit “as evidence that…, while being candid about…” kannst du unterstützende Ergebnisse vermitteln, ohne zu viel zu behaupten.