A Harsh Comment on the Methods
Ostra uwaga na temat metod
The team examines a reviewer’s claim that their sampling strategy is fundamentally flawed. They discuss whether the criticism reflects a genuine limitation or a misunderstanding of the study design.
Zespół analizuje zarzut recenzenta, że strategia doboru próby jest zasadniczo wadliwa. Zastanawiają się, czy krytyka wskazuje na rzeczywiste ograniczenie, czy wynika z niezrozumienia projektu badania.
Dialog12

The reviewer says our sampling strategy is fundamentally flawed because we recruited participants through community organizations. I’m not convinced that conclusion follows from the design.
Recenzent twierdzi, że nasza strategia doboru próby jest zasadniczo wadliwa, bo rekrutowaliśmy uczestników za pośrednictwem organizacji społecznych. Nie jestem przekonana, że taki wniosek wynika z naszego projektu badania.
They seem to be treating our sample as if we intended it to represent the entire population. We were studying how the intervention worked in specific community settings, not estimating a national prevalence rate.
Wygląda na to, że traktują naszą próbę tak, jakbyśmy chcieli, żeby reprezentowała całą populację. Badaliśmy, jak interwencja sprawdzała się w konkretnych lokalnych społecznościach, a nie szacowaliśmy ogólnokrajowego wskaźnika rozpowszechnienia.
That distinction matters, but let’s not dismiss the concern too quickly. Recruitment through organizations could still have excluded people who are less connected or less willing to participate.
To ważne rozróżnienie, ale nie odrzucajmy tej uwagi zbyt pochopnie. Rekrutacja za pośrednictwem organizacji mogła jednak wykluczyć osoby słabiej związane ze społecznością albo mniej chętne do udziału.
Agreed. We should check whether the reviewer is identifying a real coverage limitation or simply applying a standard of representativeness that our study never claimed to meet.
Zgadzam się. Sprawdźmy, czy recenzent wskazuje na rzeczywiste ograniczenie w zakresie dotarcia do badanych, czy po prostu stosuje kryterium reprezentatywności, którego nasze badanie nigdy nie miało spełniać.
Our methods section does say we used purposive sampling, but perhaps we didn’t explain why those sites were selected or how recruitment proceeded within each one.
W części poświęconej metodom piszemy, że zastosowaliśmy celowy dobór próby, ale może nie wyjaśniliśmy, dlaczego wybraliśmy te miejsca ani jak przebiegała rekrutacja w każdym z nich.
Let’s examine the records before we revise anything. Do we have figures for people approached, those who declined, and the characteristics we could compare across participants?
Przejrzyjmy dokumentację, zanim cokolwiek zmienimy. Mamy dane o tym, do ilu osób dotarliśmy, kto odmówił i jakie cechy uczestników możemy ze sobą porównać?
We have the recruitment logs, but not a complete profile of people who declined. That means we can describe the process more transparently, while acknowledging that nonresponse bias can’t be ruled out.
Mamy dzienniki rekrutacji, ale niepełne dane o osobach, które odmówiły. Możemy więc opisać ten proces bardziej przejrzyście, a jednocześnie przyznać, że nie da się wykluczyć błędu wynikającego z braku odpowiedzi.
We can also clarify that the findings are analytically transferable to similar settings, not statistically generalizable to every community. The reviewer may be reacting to language that sounds broader than we intended.
Możemy też wyjaśnić, że wyniki można analitycznie odnieść do podobnych warunków, ale nie można ich uogólniać statystycznie na każdą społeczność. Recenzent może reagować na sformułowania, które sugerują szerszy zakres, niż zamierzaliśmy.
That’s plausible. Let’s locate every claim about generalizability and see whether the wording overreaches. If it does, we should narrow it rather than defend language we can’t support.
To możliwe. Znajdźmy wszystkie twierdzenia dotyczące możliwości uogólniania wyników i sprawdźmy, czy nie idą za daleko. Jeśli tak, powinniśmy zawęzić ich zakres, zamiast bronić sformułowań, których nie możemy uzasadnić.
And if the reviewer has misunderstood our objective, we can explain the distinction respectfully, then concede the limits of organizational recruitment. We don’t need to frame those points as mutually exclusive.
A jeśli recenzent źle zrozumiał nasz cel, możemy z szacunkiem wyjaśnić różnicę, a jednocześnie przyznać, że rekrutacja za pośrednictwem organizacji miała swoje ograniczenia. Nie musimy przedstawiać tych kwestii jako wzajemnie się wykluczających.
Right. We should avoid saying the sample was representative unless the evidence supports that. A more precise account of whom we reached—and whom we may have missed—would strengthen the response.
Racja. Nie powinniśmy twierdzić, że próba była reprezentatywna, jeśli nie potwierdzają tego dane. Dokładniejszy opis tego, do kogo dotarliśmy — i kogo mogliśmy pominąć — wzmocni naszą odpowiedź.
Then let’s revise the methods and limitations sections first, and draft our response only after we’ve checked the recruitment records. A measured explanation will serve us better than a defensive rebuttal.
W takim razie najpierw poprawmy część dotyczącą metod i ograniczeń, a odpowiedź przygotujmy dopiero po sprawdzeniu dokumentacji rekrutacji. Wyważone wyjaśnienie przysłuży nam się bardziej niż defensywna riposta.
Słownictwo8
- fundamentally flawedfundamentally flawed — zasadniczo wadliwy
Having a basic problem that seriously undermines the approach. Here, the reviewer claims the recruitment strategy makes the study unreliable.
Mający podstawowy problem, który poważnie podważa zastosowane podejście. W tym przypadku recenzent twierdzi, że sposób rekrutacji sprawia, iż badanie jest niewiarygodne.
- purposive samplingpurposive sampling — dobór celowy próby
A method of selecting participants because they have characteristics relevant to the study. It does not aim to represent the whole population statistically.
Metoda doboru uczestników ze względu na cechy istotne dla badania. Jej celem nie jest statystyczne odzwierciedlenie całej populacji.
- coverage limitationcoverage limitation — ograniczenie w zakresie dotarcia do badanych
A weakness arising because some parts of the population may not have been reached. Here, people less connected to community organizations may have been left out.
Słabość wynikająca z tego, że do niektórych części populacji mogło nie udać się dotrzeć. W tym przypadku pominięte mogły zostać osoby słabiej związane z organizacjami społecznymi.
- nonresponse biasnonresponse bias — błąd wynikający z braku odpowiedzi
A possible distortion in results when people who decline to participate differ in important ways from those who take part.
Możliwe zniekształcenie wyników, które występuje, gdy osoby odmawiające udziału różnią się pod istotnymi względami od tych, które biorą udział.
- analytically transferableanalytically transferable — możliwy do analitycznego odniesienia
Applicable as a useful insight to similar settings through careful comparison, rather than proven to apply statistically to everyone.
Możliwy do zastosowania jako użyteczna wskazówka w podobnych warunkach dzięki uważnemu porównaniu, ale niepotwierdzony statystycznie dla wszystkich.
- statistically generalizablestatistically generalizable — możliwy do uogólnienia statystycznego
Supported by a study design that allows findings to be extended to a larger population using statistical reasoning.
Poparty projektem badania, który pozwala za pomocą wnioskowania statystycznego odnieść wyniki do większej populacji.
- overreachesoverreaches — wykracza poza to, co można uzasadnić
Goes beyond what the available evidence can support. Here, a claim about how widely the findings apply may be too broad.
Wykracza poza to, co mogą potwierdzić dostępne dowody. W tym przypadku twierdzenie o tym, jak szeroko można zastosować wyniki, może być zbyt daleko idące.
- mutually exclusivemutually exclusive — wzajemnie się wykluczający
Unable to both be true or apply at the same time. The speakers say they can explain a misunderstanding while also acknowledging a real limitation.
Niemożliwy do jednoczesnego uznania za prawdziwy lub zastosowania w tym samym czasie. Rozmówcy mówią, że można wyjaśnić nieporozumienie, a jednocześnie przyznać, że istnieje rzeczywiste ograniczenie.
Kluczowe zdania8
- 1
I’m not convinced that conclusion follows from the design.
Nie jestem przekonana, że taki wniosek wynika z projektu badania.
Use this to respectfully question whether someone’s conclusion is justified by the evidence or approach. Replace “that conclusion” and “the design” with the specific claim and basis you are discussing.
Użyj tego zdania, żeby z szacunkiem zakwestionować, czy czyjś wniosek jest uzasadniony dowodami lub przyjętym podejściem. Zastąp „that conclusion” i „the design” konkretnym twierdzeniem i podstawą, o których rozmawiacie.
- 2
That distinction matters, but let’s not dismiss the concern too quickly.
To ważne rozróżnienie, ale nie odrzucajmy tej uwagi zbyt pochopnie.
This balances a relevant clarification with openness to criticism. It is useful when you want to defend a position without sounding dismissive.
To zdanie łączy istotne wyjaśnienie z otwartością na krytykę. Przydaje się, gdy chcesz bronić swojego stanowiska, nie sprawiając wrażenia, że lekceważysz czyjeś uwagi.
- 3
We should check whether the reviewer is identifying a real coverage limitation or simply applying a standard of representativeness that our study never claimed to meet.
Powinniśmy sprawdzić, czy recenzent wskazuje na rzeczywiste ograniczenie w zakresie dotarcia do badanych, czy po prostu stosuje kryterium reprezentatywności, którego nasze badanie nigdy nie miało spełniać.
This frames two possible interpretations of a criticism and proposes checking which one fits. You can reuse the structure to distinguish a genuine problem from a mismatched expectation.
To zdanie przedstawia dwie możliwe interpretacje krytyki i proponuje sprawdzić, która z nich jest trafna. Możesz wykorzystać podobną konstrukcję, by odróżnić rzeczywisty problem od oczekiwania, które nie pasuje do badania.
- 4
That means we can describe the process more transparently, while acknowledging that nonresponse bias can’t be ruled out.
To oznacza, że możemy opisać proces bardziej przejrzyście, a jednocześnie przyznać, że nie da się wykluczyć błędu wynikającego z braku odpowiedzi.
Use this to explain what the available evidence does and does not allow you to claim. The phrase “can’t be ruled out” acknowledges uncertainty without asserting that a problem definitely occurred.
Użyj tego zdania, żeby wyjaśnić, na jakie twierdzenia pozwalają dostępne dowody, a na jakie nie. Wyrażenie „can’t be ruled out” (nie da się wykluczyć) sygnalizuje niepewność, ale nie stwierdza, że problem na pewno wystąpił.
- 5
We can also clarify that the findings are analytically transferable to similar settings, not statistically generalizable to every community.
Możemy też wyjaśnić, że wyniki można analitycznie odnieść do podobnych warunków, ale nie można ich uogólniać statystycznie na każdą społeczność.
This sentence distinguishes insights that may apply through comparison from findings that can be statistically extended to a whole population. It is useful for stating the scope of research findings precisely.
To zdanie odróżnia wnioski, które można odnieść do innych warunków na podstawie porównania, od wyników, które można uogólnić statystycznie na całą populację. Przydaje się, gdy chcesz precyzyjnie określić zakres wniosków z badania.
- 6
If it does, we should narrow it rather than defend language we can’t support.
Jeśli tak, powinniśmy zawęzić zakres tego twierdzenia, zamiast bronić sformułowań, których nie możemy uzasadnić.
Use this to recommend revising an overbroad claim instead of trying to justify it. “If it does” refers to whether the wording overreaches.
Użyj tego zdania, żeby zaproponować zmianę zbyt szerokiego twierdzenia zamiast próbować go uzasadniać. „If it does” odnosi się do tego, czy sformułowanie wykracza poza to, co można uzasadnić.
- 7
We don’t need to frame those points as mutually exclusive.
Nie musimy przedstawiać tych kwestii jako wzajemnie się wykluczających.
This is a concise way to say that two explanations or positions can both be valid. It helps keep a discussion nuanced rather than forcing a false choice.
To zwięzły sposób, by powiedzieć, że dwa wyjaśnienia lub stanowiska mogą być jednocześnie trafne. Pomaga prowadzić bardziej zniuansowaną rozmowę, zamiast wymuszać fałszywy wybór.
- 8
A measured explanation will serve us better than a defensive rebuttal.
Wyważone wyjaśnienie przysłuży nam się bardziej niż defensywna riposta.
Use this to advocate for a calm, proportionate response to criticism. “Will serve us better” means it is likely to be more effective.
Użyj tego zdania, by opowiedzieć się za spokojną i proporcjonalną reakcją na krytykę. „Will serve us better” oznacza, że coś prawdopodobnie okaże się skuteczniejsze.