A Harsh Comment on the Methods
Une remarque sévère sur les méthodes
The team examines a reviewer’s claim that their sampling strategy is fundamentally flawed. They discuss whether the criticism reflects a genuine limitation or a misunderstanding of the study design.
L’équipe examine l’affirmation d’un évaluateur selon laquelle leur stratégie d’échantillonnage présente un défaut fondamental. Elle se demande si la critique révèle une véritable limite ou si elle repose sur une mauvaise compréhension du plan de l’étude.
Dialogue12

The reviewer says our sampling strategy is fundamentally flawed because we recruited participants through community organizations. I’m not convinced that conclusion follows from the design.
L’évaluateur dit que notre stratégie d’échantillonnage présente un défaut fondamental parce que nous avons recruté les participants par l’intermédiaire d’organisations communautaires. Je ne suis pas convaincue que cette conclusion découle de notre plan d’étude.
They seem to be treating our sample as if we intended it to represent the entire population. We were studying how the intervention worked in specific community settings, not estimating a national prevalence rate.
On dirait qu’ils traitent notre échantillon comme si nous avions voulu qu’il représente toute la population. Nous étudiions le fonctionnement de l’intervention dans certains milieux communautaires, pas l’estimation d’un taux de prévalence à l’échelle nationale.
That distinction matters, but let’s not dismiss the concern too quickly. Recruitment through organizations could still have excluded people who are less connected or less willing to participate.
Cette distinction est importante, mais ne balayons pas la préoccupation trop vite. Le recrutement par l’intermédiaire d’organisations pourrait quand même avoir exclu des personnes moins intégrées ou moins disposées à participer.
Agreed. We should check whether the reviewer is identifying a real coverage limitation or simply applying a standard of representativeness that our study never claimed to meet.
D’accord. Nous devrions vérifier si l’évaluateur relève une véritable limite de couverture ou s’il applique simplement un critère de représentativité que notre étude n’a jamais prétendu satisfaire.
Our methods section does say we used purposive sampling, but perhaps we didn’t explain why those sites were selected or how recruitment proceeded within each one.
Notre section sur les méthodes indique bien que nous avons utilisé un échantillonnage raisonné, mais nous n’avons peut-être pas expliqué pourquoi ces sites ont été choisis ni comment le recrutement s’est déroulé dans chacun d’eux.
Let’s examine the records before we revise anything. Do we have figures for people approached, those who declined, and the characteristics we could compare across participants?
Examinons les dossiers avant de modifier quoi que ce soit. Avons-nous des chiffres sur les personnes sollicitées, celles qui ont refusé, et les caractéristiques que nous pouvons comparer entre les participants ?
We have the recruitment logs, but not a complete profile of people who declined. That means we can describe the process more transparently, while acknowledging that nonresponse bias can’t be ruled out.
Nous avons les registres de recrutement, mais pas un profil complet des personnes qui ont refusé. Nous pouvons donc décrire le processus plus clairement, tout en reconnaissant qu’il est impossible d’exclure un biais de non-réponse.
We can also clarify that the findings are analytically transferable to similar settings, not statistically generalizable to every community. The reviewer may be reacting to language that sounds broader than we intended.
Nous pouvons aussi préciser que les résultats sont transférables sur le plan analytique à des milieux similaires, mais qu’ils ne sont pas généralisables statistiquement à toutes les communautés. L’évaluateur réagit peut-être à des formulations qui semblent plus générales que ce que nous voulions dire.
That’s plausible. Let’s locate every claim about generalizability and see whether the wording overreaches. If it does, we should narrow it rather than defend language we can’t support.
C’est plausible. Repérons toutes les affirmations sur la généralisation et voyons si leur formulation va trop loin. Si c’est le cas, nous devrions les restreindre plutôt que de défendre des propos que nous ne pouvons pas étayer.
And if the reviewer has misunderstood our objective, we can explain the distinction respectfully, then concede the limits of organizational recruitment. We don’t need to frame those points as mutually exclusive.
Et si l’évaluateur a mal compris notre objectif, nous pouvons expliquer la distinction avec tact, puis reconnaître les limites du recrutement par l’intermédiaire d’organisations. Nous n’avons pas besoin de présenter ces points comme s’ils s’excluaient mutuellement.
Right. We should avoid saying the sample was representative unless the evidence supports that. A more precise account of whom we reached—and whom we may have missed—would strengthen the response.
Exactement. Nous devrions éviter de dire que l’échantillon était représentatif, à moins que les éléments dont nous disposons le démontrent. Une description plus précise des personnes que nous avons rejointes — et de celles que nous avons peut-être manquées — renforcerait notre réponse.
Then let’s revise the methods and limitations sections first, and draft our response only after we’ve checked the recruitment records. A measured explanation will serve us better than a defensive rebuttal.
Alors, commençons par réviser les sections sur les méthodes et les limites, et ne rédigeons notre réponse qu’après avoir vérifié les dossiers de recrutement. Une explication mesurée nous sera plus utile qu’une réfutation défensive.
Vocabulaire8
- fundamentally flawedprésenter un défaut fondamental
Having a basic problem that seriously undermines the approach. Here, the reviewer claims the recruitment strategy makes the study unreliable.
Avoir un problème de base qui compromet sérieusement l’approche. Ici, l’évaluateur affirme que la stratégie de recrutement rend l’étude peu fiable.
- purposive samplingéchantillonnage raisonné
A method of selecting participants because they have characteristics relevant to the study. It does not aim to represent the whole population statistically.
Méthode qui consiste à choisir des participants en fonction de caractéristiques pertinentes pour l’étude. Elle ne vise pas à représenter statistiquement l’ensemble de la population.
- coverage limitationlimite de couverture
A weakness arising because some parts of the population may not have been reached. Here, people less connected to community organizations may have been left out.
Faiblesse due au fait que certaines parties de la population n’ont peut-être pas été rejointes. Ici, des personnes moins proches des organisations communautaires ont pu être laissées de côté.
- nonresponse biasbiais de non-réponse
A possible distortion in results when people who decline to participate differ in important ways from those who take part.
Distorsion possible des résultats lorsque les personnes qui refusent de participer diffèrent de façon importante de celles qui prennent part à l’étude.
- analytically transferabletransférable sur le plan analytique
Applicable as a useful insight to similar settings through careful comparison, rather than proven to apply statistically to everyone.
Qui peut fournir des enseignements utiles dans des milieux similaires grâce à une comparaison attentive, sans que leur application à toute la population soit démontrée statistiquement.
- statistically generalizablegénéralisable statistiquement
Supported by a study design that allows findings to be extended to a larger population using statistical reasoning.
Étayé par un plan d’étude qui permet d’étendre les résultats à une population plus vaste à l’aide d’un raisonnement statistique.
- overreachesva trop loin
Goes beyond what the available evidence can support. Here, a claim about how widely the findings apply may be too broad.
Dépasse ce que les éléments disponibles permettent d’affirmer. Ici, une affirmation sur la portée des résultats est peut-être trop générale.
- mutually exclusives’exclure mutuellement
Unable to both be true or apply at the same time. The speakers say they can explain a misunderstanding while also acknowledging a real limitation.
Ne pas pouvoir être vrais ou s’appliquer en même temps. Les interlocuteurs disent qu’ils peuvent expliquer un malentendu tout en reconnaissant une véritable limite.
Phrases clés8
- 1
I’m not convinced that conclusion follows from the design.
Je ne suis pas convaincue que cette conclusion découle de notre plan d’étude.
Use this to respectfully question whether someone’s conclusion is justified by the evidence or approach. Replace “that conclusion” and “the design” with the specific claim and basis you are discussing.
Utilisez cette phrase pour demander avec tact si la conclusion de quelqu’un est justifiée par les éléments disponibles ou par l’approche suivie. Remplacez “that conclusion” et “the design” par l’affirmation précise et le fondement dont vous parlez.
- 2
That distinction matters, but let’s not dismiss the concern too quickly.
Cette distinction est importante, mais ne balayons pas la préoccupation trop vite.
This balances a relevant clarification with openness to criticism. It is useful when you want to defend a position without sounding dismissive.
Cette phrase permet de clarifier un point important tout en restant ouvert à la critique. Elle est utile pour défendre une position sans donner l’impression de rejeter les objections.
- 3
We should check whether the reviewer is identifying a real coverage limitation or simply applying a standard of representativeness that our study never claimed to meet.
Nous devrions vérifier si l’évaluateur relève une véritable limite de couverture ou s’il applique simplement un critère de représentativité que notre étude n’a jamais prétendu satisfaire.
This frames two possible interpretations of a criticism and proposes checking which one fits. You can reuse the structure to distinguish a genuine problem from a mismatched expectation.
Cette phrase présente deux interprétations possibles d’une critique et propose de vérifier laquelle convient. Vous pouvez reprendre cette structure pour distinguer un véritable problème d’une attente inadaptée.
- 4
That means we can describe the process more transparently, while acknowledging that nonresponse bias can’t be ruled out.
Nous pouvons donc décrire le processus plus clairement, tout en reconnaissant qu’il est impossible d’exclure un biais de non-réponse.
Use this to explain what the available evidence does and does not allow you to claim. The phrase “can’t be ruled out” acknowledges uncertainty without asserting that a problem definitely occurred.
Utilisez cette phrase pour expliquer ce que les éléments disponibles vous permettent ou non d’affirmer. “can’t be ruled out” reconnaît l’incertitude sans affirmer qu’un problème s’est forcément produit.
- 5
We can also clarify that the findings are analytically transferable to similar settings, not statistically generalizable to every community.
Nous pouvons aussi préciser que les résultats sont transférables sur le plan analytique à des milieux similaires, mais qu’ils ne sont pas généralisables statistiquement à toutes les communautés.
This sentence distinguishes insights that may apply through comparison from findings that can be statistically extended to a whole population. It is useful for stating the scope of research findings precisely.
Cette phrase distingue les enseignements qui peuvent s’appliquer par comparaison des résultats que l’on peut étendre statistiquement à toute une population. Elle est utile pour préciser la portée des résultats d’une étude.
- 6
If it does, we should narrow it rather than defend language we can’t support.
Si c’est le cas, nous devrions la restreindre plutôt que de défendre des propos que nous ne pouvons pas étayer.
Use this to recommend revising an overbroad claim instead of trying to justify it. “If it does” refers to whether the wording overreaches.
Utilisez cette phrase pour recommander de reformuler une affirmation trop générale au lieu d’essayer de la justifier. “If it does” renvoie au fait de savoir si la formulation va trop loin.
- 7
We don’t need to frame those points as mutually exclusive.
Nous n’avons pas besoin de présenter ces points comme s’ils s’excluaient mutuellement.
This is a concise way to say that two explanations or positions can both be valid. It helps keep a discussion nuanced rather than forcing a false choice.
C’est une façon concise de dire que deux explications ou positions peuvent être valables en même temps. Cette formulation aide à garder une discussion nuancée plutôt qu’à imposer un faux choix.
- 8
A measured explanation will serve us better than a defensive rebuttal.
Une explication mesurée nous sera plus utile qu’une réfutation défensive.
Use this to advocate for a calm, proportionate response to criticism. “Will serve us better” means it is likely to be more effective.
Utilisez cette phrase pour défendre une réponse calme et proportionnée à une critique. “Will serve us better” signifie qu’elle sera probablement plus efficace.