Probing the Root Causes
بررسی ریشههای اصلی
Grace guides the discussion from the immediate trigger to the system conditions that allowed the outage to spread. Jack and Mia examine monitoring, deployment safeguards, and competing priorities without reducing the incident to a single mistake.
گریس بحث را از محرک مستقیم به شرایط سیستمیای هدایت میکند که باعث شدند اختلال گسترش پیدا کند. جک و میا نظارت، سازوکارهای ایمنی استقرار و اولویتهای رقیب را بررسی میکنند، بیآنکه حادثه را به یک اشتباه واحد تقلیل دهند.
گفتوگو12

We’ve established the sequence, so let’s move from the immediate trigger to the conditions that made the outage spread. We’re looking for interacting factors, not a single person’s mistake.
حالا که توالی رو مشخص کردیم، بیایید از محرک مستقیم به شرایطی برسیم که باعث گسترش اختلال شدند. دنبال عواملی هستیم که روی هم اثر گذاشتند، نه اشتباه یک نفر.
The deployment introduced a configuration change that overloaded the service. The change itself passed validation, but our monitoring didn’t show the rising error rate until the customer-facing impact was already significant.
استقرار، تغییری در پیکربندی ایجاد کرد که باعث اضافهبار سرویس شد. خود تغییر اعتبارسنجی رو با موفقیت گذروند، اما نظارت ما افزایش نرخ خطا رو نشون نداد تا وقتی که تأثیر روی مشتریها بهطور محسوسی جدی شده بود.
When you say it passed validation, what did that validation cover? I’m trying to distinguish whether we had a blind spot in the checks or whether the signal existed but wasn’t surfaced.
وقتی میگی اعتبارسنجی رو با موفقیت گذروند، اون اعتبارسنجی دقیقاً چی رو پوشش میداد؟ میخوام بفهمم بررسیهامون نقطهکوری داشت یا اینکه نشانه وجود داشت ولی بهموقع به چشم نیومد.
It covered syntax and basic service health, not behavior under the traffic pattern we saw that afternoon. We didn’t have a representative load test for that particular configuration.
نحو و سلامت اولیه سرویس رو بررسی میکرد، نه رفتارش رو زیر الگوی ترافیکیای که اون بعدازظهر دیدیم. برای اون پیکربندی خاص، آزمون بارِ واقعگرایانه نداشتیم.
So the safeguard was narrower than the risk. What about monitoring: were the relevant metrics available, or were we relying on a high-level alert that lagged behind the actual failure?
پس سازوکار ایمنیمون از خود ریسک محدودتر بود. درباره نظارت چی؟ معیارهای مرتبط در دسترس بودن یا به هشداری کلی تکیه داشتیم که از خود خرابی عقب میموند؟
The metrics were available, but the alert threshold was tuned for sustained failures. This spike developed quickly, and the dashboard showed several signals without clearly indicating that they were connected.
معیارها در دسترس بودن، اما آستانه هشدار رو برای خرابیهای مداوم تنظیم کرده بودیم. این افزایش ناگهانی خیلی سریع اتفاق افتاد و داشبورد چند نشانه رو نشون میداد، بیاینکه ارتباطشون رو واضح مشخص کنه.
That suggests an observability problem as well as a threshold problem. Did anyone have enough context to interpret those signals in real time, or were they looking at separate pieces of the picture?
این یعنی علاوه بر مشکل آستانه، مشکل مشاهدهپذیری هم داشتیم. کسی بهاندازه کافی زمینه داشت که این نشانهها رو همان لحظه تفسیر کنه، یا هرکس فقط بخش جداگانهای از ماجرا رو میدید؟
The on-call engineer saw the elevated latency, but it wasn’t paired with the deployment event in the alert. They had to investigate both streams separately while the service was deteriorating.
مهندس کشیک، تأخیر بالا رو دید، اما هشدار اون رو به رویداد استقرار ربط نداده بود. وقتی سرویس داشت بدتر میشد، مجبور شد هر دو جریان رو جداگانه بررسی کنه.
And the decision to proceed with the deployment—what constraints were in play? I want us to examine the pressures and available options, rather than assume the risk was obvious at the time.
و درباره تصمیم به انجام استقرار، چه محدودیتهایی در کار بود؟ میخوام فشارها و گزینههای موجود رو بررسی کنیم، نه اینکه فرض کنیم آن موقع خطر واضح بوده.
We were working within a narrow release window, and postponing would have delayed a customer commitment. The change had passed the checks we required, so proceeding seemed proportionate given what we knew then.
بازه زمانی انتشار خیلی محدود بود و عقب انداختنش تعهدمون به مشتری رو به تأخیر میانداخت. تغییر از بررسیهایی که لازم میدونستیم گذشته بود، بنابراین با توجه به چیزهایی که آن موقع میدونستیم، ادامه دادن تصمیم متناسبی به نظر میرسید.
Then the deeper issue may be that our release criteria didn’t account for this risk, while our alerts and rollback signals weren’t strong enough to compensate. Does that fit the evidence we have?
پس شاید مسئله عمیقتر این باشه که معیارهای انتشارمون این ریسک رو در نظر نگرفته بودن و هشدارها و نشانههای بازگشت به نسخه قبلی هم برای جبران کافی نبودن. این با شواهدی که داریم جور درمیاد؟
It does, with one caveat: we should record that as a working explanation, not a proven conclusion. Let’s verify the alert behavior and load-test coverage before we define the safeguards.
بله، با یک ملاحظه: باید این رو بهعنوان توضیح موقت ثبت کنیم، نه نتیجهای اثباتشده. قبل از اینکه سازوکارهای ایمنی رو تعیین کنیم، بیایید رفتار هشدارها و پوشش آزمون بار رو بررسی کنیم.
واژگان7
- interacting factorsعوامل متقابلالاثر
Different causes that influence one another. Use this phrase to show that a problem may result from several connected conditions rather than one isolated cause.
علتهای گوناگونی که بر هم اثر میگذارند. این عبارت رو وقتی به کار ببر که میخوای نشان بدی مشکلی ممکنه حاصل چند شرایط مرتبط باشه، نه یک علتِ جدا و منفرد.
- passed validationاعتبارسنجی را با موفقیت گذراندن
Met the checks or requirements used to approve something. Here, it means the change met the checks that were in place, though those checks did not cover every risk.
برآورده کردن بررسیها یا الزاماتی که برای تأیید چیزی در نظر گرفته شدهاند. اینجا یعنی تغییر بررسیهای موجود رو با موفقیت گذرونده بود، هرچند آن بررسیها همه خطرها رو پوشش نمیدادند.
- representative load testآزمون بارِ واقعگرایانه
A test that simulates the kind of traffic a system is likely to experience. Use it when discussing whether testing reflects real-world conditions.
آزمونی که نوع ترافیکی رو شبیهسازی میکنه که احتمالاً یک سیستم باهاش روبهرو میشه. وقتی میخوای بررسی کنی آزمونها شرایط دنیای واقعی رو بازتاب میدن یا نه، از این عبارت استفاده کن.
- sustained failuresخرابیهای مداوم
Failures that continue for a period of time, rather than brief or sudden problems. This phrase can clarify what a monitoring threshold is designed to detect.
خرابیهایی که مدتی ادامه پیدا میکنند، نه مشکلات کوتاه یا ناگهانی. این عبارت میتونه روشن کنه که آستانه نظارت برای شناسایی چه نوع خرابیهایی طراحی شده.
- observability problemمشکل مشاهدهپذیری
A difficulty understanding what is happening inside a system from its available signals. In other settings, it can describe a lack of clear, connected information for diagnosing a problem.
دشواریِ فهمیدن اتفاقات داخل یک سیستم از روی نشانههای در دسترس آن. در موقعیتهای دیگر هم میتونه به کمبود اطلاعات روشن و مرتبط برای تشخیص مشکل اشاره کنه.
- narrow release windowبازه زمانی محدود برای انتشار
A limited period in which a release or change can be made. Use it to explain a scheduling constraint without suggesting it alone caused a problem.
مدتزمان محدودی که طی آن میشه انتشار یا تغییری رو انجام داد. از این عبارت برای توضیح محدودیت زمانی استفاده کن، بیآنکه القا کنی این محدودیت بهتنهایی باعث مشکل شده.
- working explanationتوضیح موقت
A provisional account that fits the evidence but has not yet been confirmed. It is useful when discussing possible causes carefully and avoiding premature conclusions.
روایتی اولیه که با شواهد جور درمیاد، اما هنوز تأیید نشده. وقتی با احتیاط درباره علتهای احتمالی حرف میزنی و نمیخوای زود به نتیجه برسی، این عبارت به کار میاد.
جملات کلیدی7
- 1
We’re looking for interacting factors, not a single person’s mistake.
دنبال عواملی هستیم که روی هم اثر گذاشتند، نه اشتباه یک نفر.
This sentence establishes a non-blaming approach to an investigation. Reuse the contrast structure “We’re looking for X, not Y” to keep a discussion focused on broader causes.
این جمله رویکردی بدون سرزنش رو برای بررسی جا میاندازه. برای اینکه بحث رو روی علتهای گستردهتر متمرکز نگه داری، از ساختار تقابلی “We’re looking for X, not Y” (دنبال X هستیم، نه Y) استفاده کن.
- 2
I’m trying to distinguish whether we had a blind spot in the checks or whether the signal existed but wasn’t surfaced.
میخوام بفهمم بررسیهامون نقطهکوری داشت یا اینکه نشانه وجود داشت ولی به چشم نیومد.
This is a tactful way to separate two possible explanations before drawing a conclusion. Reuse “I’m trying to distinguish whether…” when clarifying competing possibilities.
این روش مؤدبانهایه برای جدا کردن دو توضیح احتمالی، پیش از رسیدن به نتیجه. وقتی میخوای احتمالات رقیب رو روشن کنی، از “I’m trying to distinguish whether…” (میخوام بفهمم آیا...) استفاده کن.
- 3
So the safeguard was narrower than the risk.
پس سازوکار ایمنیمون از خود ریسک محدودتر بود.
This concise summary points out a mismatch between a protection and the danger it was meant to address. Use “X was narrower than Y” to describe a control that did not cover the full risk.
این خلاصه کوتاه به ناهماهنگی میان یک سازوکار حفاظتی و خطری که قرار بوده پوشش بده اشاره میکنه. برای توصیف کنترلی که کل ریسک رو پوشش نمیداد، از “X was narrower than Y” (X محدودتر از Y بود) استفاده کن.
- 4
That suggests an observability problem as well as a threshold problem.
این یعنی علاوه بر مشکل آستانه، مشکل مشاهدهپذیری هم داشتیم.
This sentence adds a related issue without treating the first explanation as complete. Reuse “That suggests X as well as Y” to identify multiple potential contributing factors.
این جمله یک مشکل مرتبط رو به بحث اضافه میکنه، بیآنکه توضیح اول رو کامل فرض بگیره. برای اشاره به چند عامل احتمالیِ مؤثر، از “That suggests X as well as Y” (این نشان میدهد علاوه بر Y، احتمالاً X هم مطرح است) استفاده کن.
- 5
I want us to examine the pressures and available options, rather than assume the risk was obvious at the time.
میخوام فشارها و گزینههای موجود رو بررسی کنیم، نه اینکه فرض کنیم آن موقع خطر واضح بوده.
This frames a decision in the context people faced instead of judging it with hindsight. The structure “examine X, rather than assume Y” is useful for guiding a fair review.
این جمله تصمیم رو در چارچوب شرایطی بررسی میکنه که افراد باهاش روبهرو بودند، بهجای اینکه با آگاهیِ پس از واقعه دربارهشون قضاوت کنه. ساختار “examine X, rather than assume Y” (بررسی X، بهجای فرض کردن Y) برای هدایت منصفانه بحث مفیده.
- 6
Then the deeper issue may be that our release criteria didn’t account for this risk, while our alerts and rollback signals weren’t strong enough to compensate.
پس شاید مسئله عمیقتر این باشه که معیارهای انتشارمون این ریسک رو در نظر نگرفته بودن و هشدارها و نشانههای بازگشت به نسخه قبلی هم برای جبران کافی نبودن.
This connects a possible gap in decision criteria with weaknesses in safeguards. Reuse “may be that…” to present an interpretation cautiously, especially when discussing complex causes.
این جمله یک خلأ احتمالی در معیارهای تصمیمگیری رو به ضعف سازوکارهای حفاظتی مرتبط میکنه. برای بیان محتاطانه یک برداشت، بهخصوص هنگام بحث درباره علتهای پیچیده، از “may be that…” (ممکن است مسئله این باشد که...) استفاده کن.
- 7
Let’s verify the alert behavior and load-test coverage before we define the safeguards.
بیایید پیش از تعیین سازوکارهای ایمنی، رفتار هشدارها و پوشش آزمون بار رو بررسی کنیم.
This turns a tentative explanation into a clear next step. Reuse “Let’s verify X before we Y” when evidence should be checked before a decision is finalized.
این جمله یک توضیح موقت رو به گام بعدیِ مشخصی تبدیل میکنه. وقتی لازم است شواهد پیش از نهایی کردن یک تصمیم بررسی بشن، از “Let’s verify X before we Y” (بیایید پیش از انجام Y، X را بررسی کنیم) استفاده کن.