معیارهای عملکرد ، قسمت 2: نگه داشتن همه چیز

معیارها فقط برای گزارش وضعیت نیستند ، MMMKAY. مدیران مؤثر SOC داده ها را در آغوش می گیرند و از معیارهایی برای رفع مشکلات استفاده می کنند.

در EXEL ، بررسی معیارها و تنظیم این است که چگونه ما از تیم مراقبت می کنیم - و مشتریان خود را!

در این قسمت و دو قسمت از سری وبلاگ های سه قسمتی ما در مورد همه چیز Soc Metrics and Leadership ، ما کمی عمیق تر شیر می شویم تا چگونگی استفاده از داده ها را برای مشاهده علائم هشدار دهنده بالقوه مبنی بر فرسودگی تحلیلگر SOC در پیش بگیریم-یک عامل مهمدر عملکرد SOC.

نحوه پیش بینی فرسودگی تحلیلگر SOC

شما می دانید ... این احساس شکست؟

هنگامی که همدلی ناگهان با بی تفاوتی جایگزین می شود زیرا هشدارهای زیادی نشان داده می شوند ، و آنها خیلی طولانی می شوند؟

به نظر نمی رسد که مدیریت انگشت خود را به پالس در وضعیت فعلی چیزها داشته باشد؟

هیچ چیز تغییر نمی کند زیرا "اینگونه است که ما همیشه این کار را کرده ایم!"شما شروع به پرسیدن می کنید: "آیا این چیزی است که من برای آن ثبت نام کردم؟"

بله ، منظور ما از فرسودگی SOC است. و معمول استدر واقع ، این چیزی است که بسیاری از ما در مشاغل قبلی تجربه کرده ایم.

درست مانند تحقیقات ، مدیریت عملیات مؤثر ریشه در کیفیت سؤالات پرسیده شده است.

در این پست وبلاگ ، ما معیارهای مدیریت عملیات را به اشتراک خواهیم گذاشت ، تکنیک هایی که ما برای جمع آوری داده ها و نکات مناسب برای نحوه تجزیه و تحلیل داده ها و اجرای یادگیری های خود استفاده خواهیم کرد.

این چیزی است که ما در مورد آن صحبت خواهیم کرد:

اگر اصطلاحاتی مانند تجزیه سری زمانی ، باقیمانده ، فصلی و واریانس برای شما جدید است - نگران نباشید. تجربه قبلی لازم نیست.

ما شما را از طریق هر یک از این معیارهای مدیریت عملیات و نحوه استفاده از این تکنیک ها طی خواهیم کرد.

متریک شماره 1: میانگین تعداد هشدارهایی که در روز انجام می دهیم چیست؟

تکنیک: تجزیه و تحلیل نقطه تغییر

ابزار: پایتون

TL ؛ DR: شما باید درک کنید که هر روز چند هشدار نشان می دهد. و اگر این شماره تغییر می کند ، باید بدانید که چه موقع و چرا.

شما به احتمال زیاد ظرفیت SOC بی نهایت (افراد) ندارید ، و اگر هشدارهای زیادی نسبت به ظرفیت موجود شما نشان داده شده اند ، دچار مشکل خواهید شد. تجزیه و تحلیل نقطه تغییر در اینجا Huckleberry ما است.

دیدگاه الیزابت: تجزیه و تحلیل تغییر نقطه روشی برای یافتن تغییرات آماری قابل توجهی در داده های سری زمانی است.

از نظر آماری معنی دار چیست؟در این حالت ، این فقط بدان معنی است که تغییر در داده های هشدار به اندازه کافی قابل توجه است که نشان می دهد این چیزی بیش از نویز روزانه معمولی است.

این به ما کمک می کند تا تغییراتی مانند این را مشاهده کنیم:

نمودار تغییر نقطه نشان می دهد که در آن نقطه تغییر در داده های شمارش روزانه هشدار با متن مشخص شده است.

وقتی تغییر قابل توجهی را تشخیص می دهیم ، سؤالاتی مانند:

• آیا ما در آن روز مشتری جدیدی سوار شدیم؟
• آیا ادغام جدید فروشنده را منتشر کردیم؟
• آیا یک فروشنده ویژگی های جدیدی را منتشر کرده است؟
• آیا سنبله های هشدار بزرگی وجود داشت؟
• آیا فعالیت تیم قرمز در حال انجام است؟

خط پایین: اگر دلیل قابل توضیح نداریم ، عمیق تر حفر می کنیم تا بفهمیم چه اتفاقی افتاده است تا بتوانیم تنظیم کنیم.

سپس از خود سؤالاتی می خواهیم مانند: آیا باید وقت خود را صرف "تنظیم" قوانین تشخیص دهیم؟آیا برای اتوماسیون کارهای تکراری نیاز به نوشتن گردش کار جدید داریم؟

بعضی اوقات حتی از خود می پرسیم که آیا فقط نیاز به خاموش کردن تشخیص داریم زیرا آب میوه ارزش فشار ندارد.

دیدگاه جان: تجزیه و تحلیل تغییر نقطه به من می گوید هر روز چند هشدارهایی را انجام می دهیم. وقتی شاهد تغییر قابل توجهی (بالا یا پایین) هستیم ، بلافاصله به عمل می آییم تا درک کنیم که چرا.

به عنوان مثال ، با نگاهی به نمودار تغییر نقطه Elisabeth که به اشتراک گذاشته شد ، توانستم آن را ببینم:

• بین 1 مه 2020 از طریق 21 ژوئن 2020 تعداد هشدار روزانه نسبتاً پایدار بود - میانگین تغییر نکرد.
• در 21 ژوئن 2020 میانگین تعداد هشدار روزانه دو برابر شد! چرا؟اعتصاب کبالت. این همیشه اعتصاب کبالت است. شوخی نمی کنم. این یک تیم قرمز بود - مشتری نمی خواست دسترسی را حذف کند - بنابراین ما یک تن از هشدارهای مثبت مثبت برای فعالیت داشتیم. ما با استفاده از فناوری (اتوماسیون) توانستیم این افزایش را کنترل کنیم.
• در 5 ژوئیه سال 2020 ، میانگین تعداد هشدار روزانه کمی کاهش یافت زیرا مشتری نمایندگان Beacon را حذف کرد.
• در 13 ژوئیه 2020 همه چیز بیشتر به "عادی" بازگشت.

بعد از نگاه کردن به داده ها چه کاری انجام دادیم؟

اول ، ما به تغییر قابل توجه اشاره کردیم. سپس ما به سرعت معیارهای تشخیص خود را مرور کردیم تا بفهمیم چرا تعداد هشدار روزانه دو برابر شد (سلام ، عامل چراغ).

سرانجام ، ما از فناوری و نه مردم برای رسیدگی به افزایش بار هشدار استفاده کردیم.

تجزیه سریال بسیار سریع سریال

تکنیک: تجزیه سری زمانی

ابزار: پایتون ، statsmodels. tsa. Seasonal کتابخانه

چشم انداز الیزابت: تجزیه سری زمانی روشی برای تقسیم زمان داده ها به سه قطعه است: روند ، فصلی و باقیمانده. این تقسیم به روش افزودنی مانند آنچه در معادله زیر مشاهده می کنید انجام می شود.

روند + فصلی + باقیمانده = مقدار مشاهده شده

بیایید هر قطعه را کمی بیشتر بشکنیم:

روند چیست؟

این حرکت جهت گیری کلی است که ما در داده ها می بینیم. شما می توانید به این فکر کنید مانند صاف کردن تمام برجستگی های کوچک در داده های خام برای به دست آوردن دید بهتر از حرکت جهت واقعی.

فصلی چیست؟

این الگوهای مکرر است که می بینیم. بسته به نحوه جمع آوری داده های شما ، این الگوهای ساعتی ، روزانه ، هفتگی ، ماهانه یا حتی سالانه است. به عنوان مثال ، وقتی به داده های جمع شده روزانه نگاه می کنیم ، تمایل داریم در روزهای هفته نسبت به آخر هفته ها حجم هشدار بیشتری داشته باشیم.

باقیمانده چیست؟

این همه چیز است که پس از حذف روند و فصلی باقی مانده است. این اساساً نویز در داده ها یا قسمت هایی است که نمی توان به روند یا فصلی نسبت داد.

برای انجام تجزیه فصلی ، ما از تابع Python statsmodels. tsa. seasonal استفاده می کنیم.

از آنجا که ما این تجزیه و تحلیل را در مورد تعداد هشدار روزانه در حال اجرا هستیم ، داده های خود را با جمع آوری تعداد کل هشدارهای روزانه و قالب بندی داده ها برای فهرست بندی تاریخ آماده می کنیم.

پس از قالب بندی داده ها ، تجزیه اولیه فصلی فقط با چند خط کد قابل دستیابی است:

تابع فصلی_دال از statsmodels. tsa. seasonal

و در اینجا بصری حاصل وجود دارد:

خروجی `نتیجه . plot ()`

اکنون داده های سری زمانی ما به روند ، فصلی و باقیمانده تقسیم می شود. این به ما اجازه می دهد تا به سؤالات کلیدی عملیاتی پاسخ دهیم که بعدی را پوشش خواهیم داد!

متریک شماره 2: روند هشدار روزانه چیست؟

تکنیک: تجزیه و تحلیل روند

ابزار: Tableau (یا هر ابزار تجسم)

TL ؛ DR: شما می توانید از آنچه در گذشته اتفاق افتاده است برای پیش بینی آنچه در آینده اتفاق خواهد افتاد استفاده کنید. و آنچه بالا می رود همیشه پایین نمی آید مگر اینکه ما اقدام کنیم. ما روند هشدار روزانه را برای مدیریت هشدارهای خود بررسی می کنیم تا آنها ما را مدیریت نکنند.

دیدگاه جان: یکی از مهمترین سؤالاتی که رهبران SOC باید بپرسند این است: روند هشدار روزانه چیست؟

آیا روند بالا می رود ، پایین می رود ، ثابت است یا ما سنبله های گذرا را می بینیم؟پاسخ شما به این سؤال تعیین می کند که آیا و چگونه باید بهار عمل کنید.

از بالا به یاد بیاورید ، ما از تابع Python statsmodels. tsa. Seasonal استفاده می کنیم تا تعداد هشدار روزانه خود را به سه قطعه تقسیم کنیم:

1. روند
2. فصلی ؛وت
3. باقیمانده با نام "باقیمانده"

ما این کار را از طریق نوت بوک Jupyter انجام می دهیم تا آن را آسان کنیم و نتایج را به CSV که به نظر می رسد صادر کنید:

خروجی CSV از تجزیه سری زمانی

سپس از یک ابزار تجسم ، در این حالت ، برای بررسی روند هشدار روزانه استفاده می کنیم.

در اینجا به نظر می رسد:

تجسم روند هشدار روزانه

بیایید در مورد آنچه در اینجا اتفاق می افتد صحبت کنیم.

بین ژوئیه 2020 و آگوست 2020 ما یک روند نزولی جزئی را تجربه کردیم ، اما این روند نسبتاً پایدار بود. وقتی چیزی شبیه به این را می بینیم ، ما این اقدام را انجام می دهیم تا اطمینان حاصل کنیم که ما بیش از حد تنظیم نشده ایم و حتی ممکن است با آزمایش های تشخیص کمی تهاجمی تر باشیم.

در اواسط اوت 2020 ما شاهد یک زن و شوهر بزرگ هستیم که بیشتر نتیجه امضای بد (این اتفاق می افتد!) و به دنبال آن بهبودی سریع به سطح هشدار روزانه که قبلاً دیده می شد. فراخوان ما برای اقدام ، تنظیم سر و صدا از امضاهای بد بود.

در اواسط سپتامبر 2020 همه چیز جالب می شود.

ما یک روند رو به بالا را می بینیم که به نظر می رسد صعود کند و پایدار است. الگویی که به نظر می رسد همیشه توجه من را به خود جلب می کند. این با یک سنبله بزرگ بسیار متفاوت است!

صعود آهسته و پایدار احتمالاً نشانگر هشدارهای بیشتر و بیشتر است که هر روز از فن آوری های مختلف نشان می دهد.

هشدار بیشتر + افزایش تنوع = بارگذاری شناختی سنگین

و درست مانند هشدارها ، شما باید بارگذاری شناختی را مدیریت کنید. زیرا اگر اینگونه نباشید ، فرسودگی SOC وارد گپ شده است.

فراخوان اقدام در اینجا درک وضعیت ، فهمیدن افزایش بارگذاری از (امضای جدید ، به روزرسانی محصول و غیره) و واکنش نشان می دهد. در این حالت ، دو نفر از فروشندگان ما با به روزرسانی محصولات منتشر شده کار می کنیم و برای کاهش هشدارهای مثبت کاذب ، باید قوانین تشخیص خود را تغییر دهیم.

در اواخر سپتامبر 2020 ، شما می توانید بهبودی را برای هشدار دادن به سطحی که قبلاً دیده ایم ، مشاهده کنید. این دقیقاً همان چیزی است که ما به دنبال آن هستیم!

Pro-Tip: می توانید از تیم بپرسید "چگونه پیش می رود؟"در جلسات هفتگی کارکنان یا 1: 1 ، اما من فهمیدم که با هدایت مکالمه با استفاده از داده ها ، پاسخ های بهتری خواهید گرفت.

به عنوان مثال ، در عوض می توانید بپرسید: تیم ، روند هشدار روزانه در حال حاضر صعود کند و پایدار است. ما به عنوان یک تیم مدیریتی که در حال حفاری هستیم ، اما چه می بینید؟

با داده ها رهبری کنید. این به تیم اجازه می دهد بداند که شما می دانید چه اتفاقی می افتد و از آنها حمایت می کنید. در واقع، شما را قادر می سازد تا سوالات بهتری بپرسید که منجر به پاسخ های موثرتری می شود.

از این رو می گویم که معیارها به شما کمک می کنند تا از تیم مراقبت کنید.

متریک شماره 3: آیا مدیریت هشدار تحت کنترل است؟

تکنیک: کنترل فرآیند آماری

ابزار: نمودار کنترل شوهارت و هر ابزار تجسمی

TL; DR: افزایش هشدار در حال رخ دادن است. اما افزایش بیش از حد می تواند یافتن هشدارهای مهم را برای یک تحلیلگر SOC دشوار کند.

من فقط می خواهم با هزاران موارد مثبت کاذب برخورد کنم. پیدا کردن آدم های بد جالب نیست.»- هیچ تحلیلگر SOC هرگز.

یک فرآیند مدیریت هشدار در حالت هرج و مرج به این معنی است که تحلیلگران SOC شما احتمالاً سوختگی را احساس می کنند.

دیدگاه جان: اگر زمانی را در یک SOC گذرانده باشید، می دانید که امضاهای بدی اتفاق می افتد. همچنین می دانید که آزمایش هایی برای پاسخ به «این رشته یا بسته در سطح جهانی چقدر رایج است» گاهی اوقات می تواند به نتایج بدی منجر شود. و منظور من از یک نتیجه بد، ده ها هزار یا در موارد شدید، صدها هزار هشدار مثبت نادرست است.

باز هم اتفاق می افتد. به همین دلیل است که مدیران مؤثر می پرسند: آیا مدیریت هوشیار در حالت کنترل است؟

برای پاسخ به این سوال از باقیمانده های تجزیه سری زمانی و نمودار کنترل شوهارت استفاده می کنیم.

به یاد داشته باشید که پس از استخراج روند و اجزای فصلی، باقیمانده ها همان چیزی است که باقی می ماند.

اگر با نمودار کنترل شوهارت آشنا نیستید، در اینجا یک TL; DR سریع آورده شده است:

• برای درک اینکه آیا یک فرآیند در حالت کنترل است یا خیر استفاده می شود.
• یک حد کنترل بالا (UCL) و حد کنترل پایین (LCL) وجود دارد - ما از سه انحراف استاندارد از میانگین استفاده می کنیم.
• اندازه گیری ها بر روی نمودار در مقابل یک جدول زمانی رسم می شوند.
• اندازه گیری هایی که بالاتر از UCL یا زیر LCL قرار می گیرند خارج از کنترل در نظر گرفته می شوند.

نکته حرفه ای: برای افرادی که به تازگی با کنترل فرآیند آماری شروع کرده اند، "کنترل فرآیند آماری برای مدیران" توسط ویکتور سوور یک مکان عالی برای شروع است.

با استفاده از مواد باقیمانده خود، آنها را در نمودار کنترلی شوهارت با استفاده از Tableau رسم می کنیم.

در اینجا تجسم حاصل آمده است:

نمودار کنترل شوهارت با استفاده از باقیمانده های هشدار

ممکن است تعجب کنید؛ما دنبال چی میگردیم؟

خوب برای شروع، من به دنبال روزهایی هستم که اندازه گیری های ما از UCL یا LCL فراتر رود. از تجسم بالا می توانید ببینید که دو روز در اوت 2020 وجود داشت که مدیریت هشدار "خارج از کنترل" بود.

در هر دو روز با امضاهای جدید فروشنده روبرو شدیم که منجر به حجم بالایی از مثبت کاذب شد. اما همچنین می توانید ببینید که ما توانستیم به سرعت اوضاع را کنترل کنیم.

من همچنین به دنبال دوره های زمانی هستم که واریانس بیشتری وجود داشته باشد - و وقتی می بینم واریانس بیشتری در نمودار کنترل ما وجود دارد که تقریباً همیشه با یک روند صعودی آهسته و پایدار جفت می شود.

با ترسیم باقیمانده ها در یک نمودار کنترل ، می توانیم پاسخ دهیم "مدیریت هشدار تحت کنترل است" و اگر اینگونه نباشد ، می توانیم چرا و واکنش نشان دهیم.

اگر شاهد واریانس بیشتری هستیم ، همین کار را می کنیم! حفر می کنیم ، سؤال می کنیم و تنظیم می کنیم.

ما دوست داریم این را "روند صاف" بنامیم.

و ما این کار را دوباره و دوباره و دوباره انجام می دهیم. مدیریت عملیات مؤثر یک فرآیند است ، وضعیت نهایی وجود ندارد! مانیتور ، تفسیر ، واکنش ، تنظیم. بشویید ، تکرار کنید.

"چرا" را به خاطر بسپارید

Recap فوق العاده سریع ، قول.

ما با انجام تجزیه و تحلیل نقطه تغییر در برابر تعداد هشدار روزانه خود شروع کردیم.

تجزیه و تحلیل-نقطه تغییر ، به ما اجازه می دهد روزانه میانگین را بشناسیم ، اگر تغییر کرده و چه زمانی.

سپس با استفاده از تجزیه سری زمانی ، تعداد هشدار روزانه خود را به سه قطعه تقسیم کردیم: 1) روند 2) فصلی و 3) باقیمانده.

سپس ما روند "صاف" را با استفاده از یک ابزار تجسم بررسی کردیم تا بفهمیم چه اتفاقی می افتد و سپس باقیمانده ها را در یک نمودار کنترل شوارت ترسیم کردیم تا به "آیا مدیریت هشدار تحت کنترل است؟"

فرایند مدیریت عملیات هشدار

"چرا" را با معیارها به یاد داشته باشید.

معیارها فقط برای گزارش های وضعیت نیستند. رهبران SOC بسیار مؤثر داده ها را در آغوش می گیرند و از معیارهایی برای مراقبت از تیم استفاده می کنند. باز هم - اگر هشدارهای خود را مدیریت نمی کنید ، آنها شما را مدیریت می کنند.

اگر از داده ها استفاده نمی کنید تا بارگیری بیش از حد شناختی - یا یافتن راه هایی برای آزاد کردن ظرفیت ذهنی - این یک دستور العمل رسیده برای فرسودگی SOC است.

و در آخر اینکه ، کیفیت مدیریت عملیات شما ریشه در کیفیت سؤالات پرسیده شده است.

به سؤالاتی که امروز می پرسید فکر کنید. آیا آنها مناسب هستند؟

ما در مورد معیارها صحبت کرده ایم ؛چگونه آنها یک SOC کارآمد ایجاد می کنند و چگونه تحلیلگران و مشتریان ما را خوشحال می کنند.

در آخرین پست ما ، ما برخی از نمونه های IRL از آنچه به نظر می رسد در Expel Soc است ، به اشتراک خواهیم گذاشت.

آن را از دست ندهید! در وبلاگ EXE اکنون مشترک شوید و اولین کسی باشید که سومین و نهایی ما از سری Metrics and Leadership SOC ما را خوانده است.