A Harsh Comment on the Methods
Ein harter Kommentar zu den Methoden
The team examines a reviewer’s claim that their sampling strategy is fundamentally flawed. They discuss whether the criticism reflects a genuine limitation or a misunderstanding of the study design.
Das Team prüft die Behauptung eines Gutachters, dass ihre Stichprobenstrategie grundlegend mangelhaft sei. Sie besprechen, ob die Kritik auf eine tatsächliche Einschränkung hinweist oder auf einem Missverständnis des Studiendesigns beruht.
Dialog12

The reviewer says our sampling strategy is fundamentally flawed because we recruited participants through community organizations. I’m not convinced that conclusion follows from the design.
Der Gutachter sagt, unsere Stichprobenstrategie sei grundlegend mangelhaft, weil wir die Teilnehmenden über gemeinnützige Organisationen angeworben haben. Ich bin nicht überzeugt, dass sich diese Schlussfolgerung aus dem Studiendesign ergibt.
They seem to be treating our sample as if we intended it to represent the entire population. We were studying how the intervention worked in specific community settings, not estimating a national prevalence rate.
Sie scheinen unsere Stichprobe so zu behandeln, als hätten wir vorgehabt, damit die gesamte Bevölkerung abzubilden. Wir haben untersucht, wie die Intervention in bestimmten sozialen Einrichtungen funktioniert hat, und nicht versucht, eine nationale Prävalenzrate zu schätzen.
That distinction matters, but let’s not dismiss the concern too quickly. Recruitment through organizations could still have excluded people who are less connected or less willing to participate.
Dieser Unterschied ist wichtig, aber wir sollten den Einwand nicht vorschnell abtun. Durch die Anwerbung über Organisationen könnten trotzdem Menschen ausgeschlossen worden sein, die weniger gut vernetzt oder weniger bereit waren, teilzunehmen.
Agreed. We should check whether the reviewer is identifying a real coverage limitation or simply applying a standard of representativeness that our study never claimed to meet.
Einverstanden. Wir sollten prüfen, ob der Gutachter auf eine tatsächliche Einschränkung bei der Erreichbarkeit hinweist oder lediglich einen Repräsentativitätsmaßstab anlegt, den unsere Studie nie erfüllen sollte.
Our methods section does say we used purposive sampling, but perhaps we didn’t explain why those sites were selected or how recruitment proceeded within each one.
In unserem Methodenteil steht zwar, dass wir eine gezielte Stichprobenauswahl verwendet haben, aber vielleicht haben wir nicht erklärt, warum wir diese Einrichtungen ausgewählt haben oder wie die Anwerbung dort jeweils ablief.
Let’s examine the records before we revise anything. Do we have figures for people approached, those who declined, and the characteristics we could compare across participants?
Bevor wir etwas überarbeiten, sollten wir uns die Unterlagen ansehen. Haben wir Zahlen dazu, wie viele Personen wir angesprochen haben, wie viele abgelehnt haben und welche Merkmale wir bei den Teilnehmenden vergleichen konnten?
We have the recruitment logs, but not a complete profile of people who declined. That means we can describe the process more transparently, while acknowledging that nonresponse bias can’t be ruled out.
Wir haben die Anwerbungsprotokolle, aber kein vollständiges Profil der Personen, die abgelehnt haben. Das heißt, wir können den Ablauf transparenter beschreiben und zugleich einräumen, dass sich eine Verzerrung durch Nichtteilnahme nicht ausschließen lässt.
We can also clarify that the findings are analytically transferable to similar settings, not statistically generalizable to every community. The reviewer may be reacting to language that sounds broader than we intended.
Wir können außerdem klarstellen, dass sich die Ergebnisse durch analytischen Vergleich auf ähnliche Kontexte übertragen lassen, aber nicht statistisch auf jede Gemeinschaft verallgemeinern lassen. Vielleicht reagiert der Gutachter auf Formulierungen, die weiter gefasst klingen, als wir es beabsichtigt hatten.
That’s plausible. Let’s locate every claim about generalizability and see whether the wording overreaches. If it does, we should narrow it rather than defend language we can’t support.
Das ist gut möglich. Lass uns alle Aussagen zur Verallgemeinerbarkeit heraussuchen und prüfen, ob die Formulierungen zu weit gehen. Falls ja, sollten wir sie eingrenzen, statt Formulierungen zu verteidigen, die wir nicht belegen können.
And if the reviewer has misunderstood our objective, we can explain the distinction respectfully, then concede the limits of organizational recruitment. We don’t need to frame those points as mutually exclusive.
Und falls der Gutachter unser Ziel missverstanden hat, können wir den Unterschied respektvoll erklären und zugleich die Grenzen der Anwerbung über Organisationen einräumen. Wir müssen diese Punkte nicht als unvereinbar darstellen.
Right. We should avoid saying the sample was representative unless the evidence supports that. A more precise account of whom we reached—and whom we may have missed—would strengthen the response.
Genau. Wir sollten nicht behaupten, die Stichprobe sei repräsentativ gewesen, wenn die Belege das nicht stützen. Eine präzisere Beschreibung davon, wen wir erreicht haben – und wen wir möglicherweise nicht erreicht haben –, würde unsere Antwort stärken.
Then let’s revise the methods and limitations sections first, and draft our response only after we’ve checked the recruitment records. A measured explanation will serve us better than a defensive rebuttal.
Dann überarbeiten wir zuerst den Methodenteil und den Abschnitt zu den Einschränkungen und formulieren unsere Antwort erst, nachdem wir die Anwerbungsprotokolle geprüft haben. Eine sachliche Erklärung bringt uns mehr als eine defensive Erwiderung.
Wortschatz8
- fundamentally flawedgrundlegend mangelhaft
Having a basic problem that seriously undermines the approach. Here, the reviewer claims the recruitment strategy makes the study unreliable.
Etwas hat ein grundlegendes Problem, das den gesamten Ansatz ernsthaft infrage stellt. Hier behauptet der Gutachter, die Anwerbungsstrategie mache die Studie unzuverlässig.
- purposive samplinggezielte Stichprobenauswahl
A method of selecting participants because they have characteristics relevant to the study. It does not aim to represent the whole population statistically.
Eine Methode, bei der Teilnehmende ausgewählt werden, weil sie für die Studie relevante Merkmale aufweisen. Dabei geht es nicht darum, die Gesamtbevölkerung statistisch abzubilden.
- coverage limitationEinschränkung der Erreichbarkeit
A weakness arising because some parts of the population may not have been reached. Here, people less connected to community organizations may have been left out.
Eine Schwäche, die dadurch entsteht, dass bestimmte Teile der Bevölkerung möglicherweise nicht erreicht wurden. Hier könnten Menschen, die weniger mit gemeinnützigen Organisationen vernetzt sind, ausgeschlossen worden sein.
- nonresponse biasVerzerrung durch Nichtteilnahme
A possible distortion in results when people who decline to participate differ in important ways from those who take part.
Eine mögliche Verzerrung der Ergebnisse, wenn sich Menschen, die eine Teilnahme ablehnen, in wichtigen Punkten von den Teilnehmenden unterscheiden.
- analytically transferableanalytisch übertragbar
Applicable as a useful insight to similar settings through careful comparison, rather than proven to apply statistically to everyone.
Eine Erkenntnis lässt sich durch sorgfältigen Vergleich sinnvoll auf ähnliche Kontexte übertragen. Das bedeutet nicht, dass ihre statistische Gültigkeit für alle nachgewiesen wurde.
- statistically generalizablestatistisch verallgemeinerbar
Supported by a study design that allows findings to be extended to a larger population using statistical reasoning.
Durch ein Studiendesign gestützt, das es ermöglicht, die Ergebnisse mithilfe statistischer Überlegungen auf eine größere Bevölkerung zu übertragen.
- overreachesgeht zu weit
Goes beyond what the available evidence can support. Here, a claim about how widely the findings apply may be too broad.
Geht über das hinaus, was die verfügbaren Belege stützen können. Hier ist eine Aussage darüber, wie breit die Ergebnisse anwendbar sind, möglicherweise zu weit gefasst.
- mutually exclusiveunvereinbar
Unable to both be true or apply at the same time. The speakers say they can explain a misunderstanding while also acknowledging a real limitation.
Kann nicht gleichzeitig wahr sein oder zutreffen. Die Sprechenden sagen, dass sie ein Missverständnis erklären und zugleich eine tatsächliche Einschränkung anerkennen können.
Wichtige Sätze8
- 1
I’m not convinced that conclusion follows from the design.
Ich bin nicht überzeugt, dass sich diese Schlussfolgerung aus dem Studiendesign ergibt.
Use this to respectfully question whether someone’s conclusion is justified by the evidence or approach. Replace “that conclusion” and “the design” with the specific claim and basis you are discussing.
Mit diesem Satz kannst du respektvoll infrage stellen, ob die Schlussfolgerung einer Person durch die Belege oder den Ansatz gerechtfertigt ist. Ersetze „diese Schlussfolgerung“ und „das Studiendesign“ durch die konkrete Behauptung und ihre Grundlage.
- 2
That distinction matters, but let’s not dismiss the concern too quickly.
Dieser Unterschied ist wichtig, aber wir sollten den Einwand nicht vorschnell abtun.
This balances a relevant clarification with openness to criticism. It is useful when you want to defend a position without sounding dismissive.
So kannst du einen wichtigen Unterschied hervorheben und gleichzeitig offen für Kritik bleiben. Das ist hilfreich, wenn du deinen Standpunkt verteidigen möchtest, ohne abweisend zu wirken.
- 3
We should check whether the reviewer is identifying a real coverage limitation or simply applying a standard of representativeness that our study never claimed to meet.
Wir sollten prüfen, ob der Gutachter auf eine tatsächliche Einschränkung bei der Erreichbarkeit hinweist oder lediglich einen Repräsentativitätsmaßstab anlegt, den unsere Studie nie erfüllen sollte.
This frames two possible interpretations of a criticism and proposes checking which one fits. You can reuse the structure to distinguish a genuine problem from a mismatched expectation.
Der Satz stellt zwei mögliche Deutungen einer Kritik gegenüber und schlägt vor, herauszufinden, welche zutrifft. Diese Struktur kannst du wiederverwenden, um ein echtes Problem von einer unpassenden Erwartung zu unterscheiden.
- 4
That means we can describe the process more transparently, while acknowledging that nonresponse bias can’t be ruled out.
Das heißt, wir können den Ablauf transparenter beschreiben und zugleich einräumen, dass sich eine Verzerrung durch Nichtteilnahme nicht ausschließen lässt.
Use this to explain what the available evidence does and does not allow you to claim. The phrase “can’t be ruled out” acknowledges uncertainty without asserting that a problem definitely occurred.
Mit diesem Satz erklärst du, welche Aussagen die verfügbaren Belege zulassen und welche nicht. Die Formulierung “can’t be ruled out” (lässt sich nicht ausschließen) räumt Unsicherheit ein, ohne zu behaupten, dass das Problem tatsächlich aufgetreten ist.
- 5
We can also clarify that the findings are analytically transferable to similar settings, not statistically generalizable to every community.
Wir können außerdem klarstellen, dass sich die Ergebnisse durch analytischen Vergleich auf ähnliche Kontexte übertragen lassen, aber nicht statistisch auf jede Gemeinschaft verallgemeinern lassen.
This sentence distinguishes insights that may apply through comparison from findings that can be statistically extended to a whole population. It is useful for stating the scope of research findings precisely.
Dieser Satz unterscheidet zwischen Erkenntnissen, die sich durch Vergleich auf ähnliche Kontexte übertragen lassen, und Ergebnissen, die statistisch auf eine ganze Bevölkerung übertragen werden können. Er ist hilfreich, um den Geltungsbereich von Forschungsergebnissen präzise zu benennen.
- 6
If it does, we should narrow it rather than defend language we can’t support.
Falls das so ist, sollten wir die Aussage eingrenzen, statt Formulierungen zu verteidigen, die wir nicht belegen können.
Use this to recommend revising an overbroad claim instead of trying to justify it. “If it does” refers to whether the wording overreaches.
Mit diesem Satz empfiehlst du, eine zu weit gefasste Aussage zu überarbeiten, anstatt zu versuchen, sie zu rechtfertigen. “If it does” bezieht sich darauf, ob die Formulierung zu weit geht.
- 7
We don’t need to frame those points as mutually exclusive.
Wir müssen diese Punkte nicht als unvereinbar darstellen.
This is a concise way to say that two explanations or positions can both be valid. It helps keep a discussion nuanced rather than forcing a false choice.
Das ist eine knappe Art zu sagen, dass zwei Erklärungen oder Standpunkte zugleich zutreffen können. So bleibt die Diskussion differenziert, statt eine falsche Entweder-oder-Frage daraus zu machen.
- 8
A measured explanation will serve us better than a defensive rebuttal.
Eine sachliche Erklärung bringt uns mehr als eine defensive Erwiderung.
Use this to advocate for a calm, proportionate response to criticism. “Will serve us better” means it is likely to be more effective.
Mit diesem Satz sprichst du dich für eine ruhige, angemessene Reaktion auf Kritik aus. “Will serve us better” bedeutet, dass etwas wahrscheinlich wirksamer ist.