Zarządzanie incydentami dziś i jutro

Udostępnij post

Atlassian przygotował kolejną, drugą już edycję „The state of incident management report 2021”. Przedstawia on obecny stan zarządzania incydentami: używane narzędzia i metodyki, jak również trendy rozwoju i kierunki inwestowania.

Pierwszy raport firmy Atlassian oceniający stan zarządzania incydentami ukazał się w 2020 roku, na początku globalnej pandemii Covid-19. Zmiany jakie dokonały się wówczas w zwyczajach konsumenckich oraz w środowiskach IT nakazały inaczej spojrzeć na procesy Incident Management. W ubiegłym roku wszystkie przedsiębiorstwa, nawet te, które nie są tradycyjnie uważane za technologiczne, zaczęły się digitalizować w przyspieszonym tempie.

Ze wzrostem ilości cyfrowych usług nierozerwalnie jest związana dbałość o ich bezawaryjność i stałą dostępność, której oczekują użytkownicy. Niestety incydenty zdarzają się i będą się zdarzać (w czasach pandemii nastąpił ich zdecydowany wzrost), co oznacza przestoje i koszty. Ankietowani, poproszeni o uśrednioną ocenę swoich strat finansowych powstałych w wyniku incydentów wymienili kwotę powyżej 14 tys. USD w przeliczeniu na jeden incydent. Nie jest to mało, zwłaszcza, że większość firm biorących udział w badaniu to średnie przedsiębiorstwa, duże stanowiły jedynie 15%. Szkody materialne to jednak nie wszystko. Długotrwałe lub częste incydenty mogą całkiem zniszczyć reputację firmy, spowodować odpływ klientów i pracowników, kłopoty z prawem, a nawet doprowadzić do jej upadku. Incydentów nie sposób całkowicie uniknąć, ale kluczem do minimalizacji strat, jest prewencja oraz, gdy już dojdzie do zdarzenia, szybka, zorganizowana reakcja. Zarządzanie incydentami staje się zatem ważnym elementem strategii organizacji. Ma to swoje odzwierciedlenie również w zwiększających się budżetach  dotyczących tego obszaru.

Spis treści

Nowe trendy w zarządzaniu incydentami

Coraz więcej działań jest ukierunkowanych nie tylko na rozwiązywanie zaistniałych problemów, ale przede wszystkim na zapobieganie ich powstawaniu, co jest wyznacznikiem dojrzałości procesów zarządzania incydentami. 

W ubiegłym roku 35% badanych organizacji zostało uznanych za proaktywne, w 2021 było ich już 50%

Proaktywne organizacje, według klasyfikacji Atlassian,  posiadają narzędzia do monitorowania, ostrzegania i komunikacji,  także prowadzą szkolenia z zakresu reagowania na incydenty oraz zautomatyzowały przynajmniej jeden aspekt procesu zarządzania incydentami.  

Nowe trendy w zarządzaniu incydentami, na jakie należy zwrócić uwagę w 2021 roku, to z pewnością zmiany w metodach współpracy i rosnący nacisk na automatyzację, która figuruje w planach inwestycyjnych ponad połowy respondentów. Większość z kluczowych wniosków nie była jednak szczególnym zaskoczeniem.

Z tegorocznego badania wynika, że:

  • DevOps (97%) i Agile (90%) to najpopularniejsze frameworki, mające wpływ na zarządzanie incydentami;
  • 68% respondentów wskazuje e-mail jako najczęstszy sposób powiadamiania o incydentach;
  • 99% badanych organizacji ma wdrożoną procedurę on-call, w porównaniu do 93% w ubiegłym roku;
  • 87% wezwań dotyczących incydentów kierowanych jest do działu IT, 63% do deweloperów;
  • dla 62% ankietowanych zgłoszenie lub narzędzie śledzące (jak np. Jira, Jira Service Management) stanowi źródło prawdy podczas incydentów;
  • 71% informacji na temat wpływu zdarzenia uzyskuje się z historii incydentu, 63% z ostatnich wdrożeń/wydań kodu;
  • wideokonferencje (75%) i monitoring (69%) to najczesciej używane narzędzia do zarządzania incydentami;
  • 77% ankietowanych wskazało MTTR (Mean Time to Resolve) jako najważniejszy wskaźnik pomiaru sukcesu po incydencie;
  • monitorowanie wydajności (71%) oraz monitorowanie transakcji użytkowników (67%) to główne działania proaktywne:
  • ryzyko zmian (29%), opór kierownictwa (28%) i koszty (26%) stanowią największe bariery utrudniające ulepszenie procesu Incident Management;
  • wzrost automatyzacji (54%) oraz poprawa dokumentacji i procesów (52%) to strategie w jakie organizacje będą w następnym roku inwestować najwięcej w kontekście Incident Management;
  • mimo zwiększonych inwestycji w automatyzację niewiele firm osiągnie ponad 70% automatyzacji procesu zarządzania incydentami;
  • w działania IM są dziś najbardziej zaangażowane działy operacyjne IT (89%), ale coraz częściej angażują się w nie także działy pozatechniczne.

Czy na pewno wybierasz najlepszy system ITSM?

Sprawdź to z checklistą 46 pytań!

O badaniu

Dane zawarte w raporcie pochodzą z badania na temat zarządzania usługami IT (ITSM), z naciskiem na praktykę zarządzania incydentami, jakie Firma CITE Research na zlecenie Atlassian, przeprowadziła w 2021 r. Objęło ono 500 deweloperów i specjalistów IT na poziomie menedżera lub wyższym, w wieku od 34 do 54 lat, z całego obszaru USA. Ankietowani pracowali w firmach zatrudniających powyżej 101 pracowników, a ich organizacje praktykowały DevOps.

W przeciwieństwie do zeszłorocznej ankiety respondenci w równych proporcjach (50/50) reprezentowali działy IT i działy rozwoju. W 2020 roku osoby z IT stanowiły aż 78%.

Najpopularniejsze frameworki

DevOps został uznany za framework, który ma największy wpływ na pracę zespołów zarządzania incydentami. Na drugiej pozycji plasuje się Agile, następnie ITIL 4 oraz Lean.

Wpływ frameworków na pracę zespołów zarządzania incydentami w 2021r.

framework duży wpływ pewien wpływ niewielki wpływ nie ma wpływu
DevOps
76%
21%
21%
0%
ITIL 4
48%
38%
9%
4%
Agile
45%
45%
9%
0%
Lean
36%
47%
13%
4%

Frameworki mające największy wpływ na Incident Management

Narzędzia wykorzystywane podczas trwania incydentu

Wykrywanie incydentu

Osoby reagujące na incydenty są powiadamiane o zaistniałym zdarzeniu na różne sposoby. Dwie trzecie z nich otrzymują wiadomości e-mail, zautomatyzowane połączenia telefoniczne lub wiadomości tekstowe. Ponad połowa zostaje poinformowana za pośrednictwem narzędzia ChatOps i/lub aplikacji mobilnej. Znacznie rzadziej wykorzystywane są „drzewka telefoniczne” i Network Operations Centers.

Natomiast, aby poznać i zrozumieć kontekst incydentu respondenci najczęściej sięgają do historii zdarzenia, a dopiero w dalszej kolejności do ostatnio wdrożonych/wydanych kodów.

Sposób powiadamiania podmiotów/osób odpowiedzialnych za reagowanie na incydenty:

  • 68% – e-mail
  • 63% – automatyczne powiadomienia telefoniczne lub wiadomości tekstowe
  • 59% – powiadomienia z narzędzi CzatOps (np. Slack, MS Teams)
  • 53% – mobilne powiadomienia push

 
Informacje, do których uzyskiwano dostęp w celu określenia pełnego wpływu zdarzenia:

  • 71% – historia incydentu/alertu/zdarzenia
  • 63% – ostatnie wdrożenia/wydania kodu
  • 59% – ostatnie zmiany w infrastrukturze
  • 53% – bieżące informacje o stanie systemu
  • 38% – CMDB lub inne repozytorium aktywów

Narzędzia używane do zarządzania incydentami

Pandemia Covid-19 zmieniła zachowania konsumentów popularyzując komunikację wideo i trend ten nie ominął również zarządzania incydentami. Wideokonferencje są najczęściej stosowanym narzędziem w procesie Incident Management. Zaraz po nich wymieniano monitoring, CI/CD (Continous Integration/Continous Delivery) oraz czat. Dodanie narzędzi CI/CD może wskazywać na to, że firmy poszukują sposobów na większą proaktywność i skrócenie czasu rozwiązywania incydentów.

Narzędzia do zarządzania incydentami w 2021

2021
wideokonferencje
75%
monitoring
69%
ciągła integracja/ciągłe dostarczanie (CI/CD)
69%
czat
63%
dokumentacja/wiki
58%
alerty
48%
inne
0%

W całym procesie zarządzania incydentami organizacje używają średnio 3,8 narzędzi. Jest to spadek w porównaniu z wynikami z 2020 r., kiedy to 5,2 narzędzi służyło do komunikacji wewnętrznej, 4,2 do komunikacji zewnętrznej, a 4,3 do współpracy z zespołem podczas incydentu. Prawdopodobne jest to wynikiem usprawnienia i konsolidacji narzędzi.

Komunikacja i współpraca

Do komunikacji i współpracy w procesie zarządzania incydentami najczęściej używana jest poczta elektroniczna, choć jej wykorzystanie spadło o 11-16% w stosunku do ubiegłego roku. Trend ten jest nieco inny w przypadku deweloperów, którzy częściej wybierają czat, zarówno do współpracy w zespole (54%) jak i do komunikacji wewnętrznej (56%).

Pomimo zwiększonej liczby kanałów komunikacyjnych (w 2021 dołączyły wiadomości tekstowe i mobile app) ich wykorzystanie zmniejszyło się. Można to tłumaczyć zarówno ucieczką od męczącej komunikacji na ekranie, którą w nadmiarze zafundowała nam pandemia, jak i korzystaniem z bardziej zintegrowanych narzędzi z jasnymi ścieżkami audytu, zawierającymi praktyczne informacje, co zmniejsza potrzebę komunikacji.

Narzędzia komunikacji i współpracy w 2020

komunikacja wewnętrzna komunikacja zewnętrzna współpraca z zespołem
e-mail
71%
65%
58%
telefon
64%
57%
53%
wideokonferencja
61%
44%
57%
czat
59%
44%
56%
help desk
58%
50%
37%
system ticketowy
58%
37%
43%
zarządzanie projektem
58%
34%
50%
strona www
50%
56%
39%
strona statusu
41%
32%
34%

Narzędzia komunikacji i współpracy w 2021

komunikacja wewnętrzna komunikacja zewnętrzna współpraca z zespołem
e-mail
58%
54%
52%
telefon
55%
52%
43%
wideokonferencja
52%
50%
45%
czat
51%
45%
47%
help desk
43%
42%
35%
system ticketowy
37%
37%
28%
zarządzanie projektem
46%
35%
38%
strona www
41%
32%
34%
strona statusu
51%
43%
37%
SMS
47%
43%
35%
aplikacja mobilna
51%
43%
37%

Kto zarządza incydentami?

Zeszłoroczne badanie wykazało, że w zarządzanie incydentami najbardziej zaangażowane są działy operacyjne IT, jednak coraz częściej się zdarza, że rolę tę przejmują działy marketingu, działy prawne oraz kadra kierownicza poziomu C-level.

Kto zarządza incydentem?

2020 2021
operacyjne działy IT
93%
89%
działy techniczne
38%
46%
Site Reliability
26%
34%
działy prawne
18%
29%
marketing
13%
16%
kadra zarządzająca (C-level)
31%
44%
inni
2%
0%

Kto dostaje powiadomienia o incydencie?

Według 87% respondentów wezwania dotyczące incydentów otrzymuje dział IT, natomiast 63% stwierdziło, że są on kierowane do deweloperów.

W zeszłym roku 93% badanych organizacji miało wdrożoną procedurę on-call, w tym roku posiada ją już 99%. Większość ankietowanych zautomatyzowała proces planowania dyżurów za pomocą narzędzia takiego jak Opsgenie, jedynie 18% nadal korzysta z procesów manualnych (arkuszy kalkulacyjnych).

Kto dyżuruje?

  • 87% – dział operacyjny IT/ service desk
  • 63% – deweloperzy
  • 44% – product managerowie
  • 1% – nie ma takich osób

 Jak są tworzone plany dyżurów?

  • 64% – proces automatyczny uruchamiany przez narzędzie (jak np. Opsgenie)
  • 18% – arkusze kalkulacyjne
  • 17% – narzędzia HR/ harmonogramy

Czy na pewno wybierasz najlepszy system ITSM?

Sprawdź to z checklistą 46 pytań!

Zapobieganie incydentom

Proaktywne działania związane z zapobieganiem incydentom to zarówno edukacja, gry strategiczne i zestawy praktyk, jak i odpowiednie narzędzia technologiczne. Większość organizacji (87%) biorących udział w badaniu prowadzi szkolenia z zakresu zarządzania incydentami, ponad połowa stosuje gry wojenne, a 75% uczestniczy w Inżynierii Chaosu.

Nauka proaktywnego zapobiegania incydentom

2020 2021
szkolenie z zarządzania incydentami
88%
87%
prowadzenie gier wojennych
55%
53%
praktykowanie Inżynierii Chaosu
75%

Narzędzia proaktywnego zarządzania incydentami obecnie stają się normą. Najbardziej rozpowszechnione jest monitorowanie wydajności i monitorowanie transakcji użytkowników. Organizacje, które używają sztucznej inteligencji do wyzwalania incydentów statystycznie częściej wykorzystują wszystkie z technik proaktywnych (z wyjątkiem monitorowania transakcji użytkowników). Może to wskazywać na to, że AI jest stosowana przez bardziej dojrzałe firmy lub też, że umożliwia bycie bardziej proaktywnym.

Używanie proaktywnych technologii/ narzędzi

  • 71% – monitorowanie wydajności
  • 67% – monitorowanie transakcji użytkowników
  • 57% – testy syntetyczne
  • 51% – AI do śledzenie incydentów
  • 50% – zmiany wywołane tendencjami/korelacją

Znacznie zmniejszyła się liczba „odkryć wewnętrznych”, co prawdopodobnie wiąże się ze zmianą sformułowań w kwestionariuszu ankietowym. W 2020 roku mówiono o „wewnętrznym/ pracowniczym odkrywaniu incydentów”, które w 2021 zostało nazwane „wewnętrznym odkrywaniem incydentów” (internal discovery).

Narzędzia do wykrywania incydentów

2021 2020
narzędzia monitorujące
83%
86%
e-mail klienta
72%
61%
help-desk
70%
69%
internal discovery
1%
71%
inne
0%
1%

Źródło prawdy podczas incydentów

Dla 2/3 badanych zgłoszenia i narzędzia do śledzenia problemów stanowią źródło prawdy podczas incydentów. W 2020 r. 88% ankietowanych korzystało z narzędzia do śledzenia zgłoszeń, takiego jak Jira lub Jira Service Management jako źródła prawdy, a 65% używało w tym celu czatu lub narzędzia do współpracy. Natomiast w 2021 roku już tylko 62% wykorzystało narzędzie do śledzenia zgłoszeń jako źródło prawdy, a 38% korzystało z czatu lub narzędzia do współpracy. Trudno powiedzieć co spowodowało taką zmianę, ale wydaje się, że do śledzenia problemów wykorzystuje się po prostu coraz więcej narzędzi ChatOps.

Co ciekawe, organizacje używające AI (64%) częściej deklarują, że narzędzie śledzące są dla nich podstawowym źródłem prawdy, w porównaniu do nie korzystających z AI (50%).

Źródło prawdy podczas incydentów

Pomiar sukcesu po incydencie

Podobnie jak w zeszłym roku, większość firm przeprowadza postmortem incydentów, zwłaszcza ci z respondentów, którzy korzystają z rozwiązań AI (89%). Może to świadczyć o ogólnej dojrzałości Incident Management lub wskazywać, że wykorzystanie AI pozwala zautomatyzować ten proces.

Czy twoja organizacja przeprowadza postmortem incydentów?

2020 2021
tak
78%
85%
nie
19%
11%
nie jestem pewien
3%
4%

Respondenci poproszeni o określenie szacunkowego, średniego kosztu pojedynczego incydentu na ich organizację wymienili kwotę 14985 USD. Badanie przeprowadzone przez Gartnera wykazało natomiast, że średni koszt przestoju może wynosić nawet 5600 USD na minutę. Wobec tych danych nie dziwi fakt, że główną miarą sukcesu jest średni czas rozwiązania problemu (Mean Time to Resolve). W porównaniu do zeszłego roku zauważalny jest spadek liczby ankietowanych zwracających uwagę na średni czas oczekiwania na odpowiedź (Mean Time to Respond).

Wskaźniki pomiaru sukcesu po incydencie

2020 2021
MTTR (Mean Time to Resolve)
79%
77%
MTTA (Mean Time to Acknowledge)
53%
57%
MTTR (Mean Time to Respond)
66%
46%
Inne wskaźniki
1%
0%

Pomiar sukcesu po incydencie

Największym problemem w procesie zarządzania incydentami jest brak pełnej widoczności infrastruktury IT. Jak można się spodziewać, osoby posiadające mniej narzędzi typu end-to-end (0-4) częściej wskazują na tę trudność (28%).

Największe bolączki w zarządzaniu incydentami to:

  • 24% – brak pełnej widoczności całej infrastruktury IT
  • 11% – brak koordynacji pomiędzy działami
  • 11% – brak integracji z narzędziami czatu (Slack, Microsoft Teams)
  • 11% – brak kontekstu podczas incydentu
  • 11% – niewłaściwie zdefiniowane procesy
  • 11% – brak zarządzania zmianą
  • 10% – brak planów reagowania na incydenty
  • 9% – brak automatycznych odpowiedzi
  • 1% – inne

Za największe bariery utrudniające usprawnienie procesu IM uznano: ryzyko zmian, opór kierownictwa i koszty.

 Bariery zmian w zarządzaniu incydentami

  • 29% – ryzyko zmian
  • 28% – opór kierownictwa
  • 26% – koszty
  • 17% – opór na poziomie kierownictwa C-level
  • 1% – inne

Głównym czynnikiem skłaniającym do zapewnienia jak najlepszej jakości procesu zarządzania incydentami jest obecnie pozytywne doświadczenia klienta, a następnie ochrona reputacji firmy. Obawa przed utratą zysków plasuje się dopiero na trzeciej pozycji. Deweloperzy oprogramowania przywiązują nieco większą wagę do zapobiegania utracie klientów/zysków niż specjaliści IT (23% twierdzi, że jest to czynnik decydujący, w porównaniu do zaledwie 15% specjalistów IT).

 Najważniejsze korzyści z ulepszenia procesu zarządzania incydentami

  • 32% – zapewnienie pozytywnego doświadczenia klienta
  • 21% – ochrona reputacji firmy
  • 19% – przeciwdziałanie utracie klientów/zysków
  • 14% – zapewnienie zgodności
  • 14% – wpływ na kulturę i filozofię firmy

Zwiększający się nacisk na automatyzację

Nie jest zaskoczeniem, że automatyzacja nadal pozostaje w centrum uwagi Incident Management. 

Więcej niż połowa ankietowanych już teraz posiada automatyczne szablony do komunikacji zewnętrznej oraz zewnętrznej:

Jeśli porównać dane z 2020 i 2021 widać, że automatyzacja tworzenia zgłoszeń znacząco spadła, z 66% w 2020 roku do 52% w 2021 roku. Jedną z przyczyn tego spadku jest zapewne fakt, że automatyzacja zgłoszeń nie zawsze jest odpowiednio wdrożona i filtrowana co prowadzi do powstawania szumów.

Organizacje korzystające z więcej niż 5 narzędzi end-to-end częściej automatyzują całą komunikację i wszystkie procesy. Również ci, którzy łatwo komunikują się z interesariuszami, częściej niż inni posiadają zautomatyzowaną komunikację z pracownikami wewnętrznymi (85%), zautomatyzowane procesy powiadamiania o dyżurach (62%), zautomatyzowaną komunikację w przypadku incydentów (68%) oraz automatyczne tworzenie kanałów czatu (62%).

Kogo obejmuje zautomatyzowana komunikacji w przypadku incydentu

2020 2021
pracownicy wewnętrzni
83%
81%
pracownicy zewnętrzni
58%
71%
żadni z nich
2%
6%

Automatyzacja procesów zarządzania incydentami

2020 2021
komunikacja o incydencie (Stauspage, e-mail. etc.)
67%
63%
tworzenie kanału czatu (Slask, Microsoft Teams)
53%
59%
powiadomienia telefoniczne od monitorujących narzędzi
58%
57%
tworzenie zgłoszeń (Jira, Jira Service Management, etc.)
66%
52%
tworzenie zapisów zmian dla zmian standardowych
46%
tworzenie postmortem
33%
28%
żaden z powyższych
3%
1%

Większość respondentów (85%) do wyzwalania incydentów używa narzędzi wykorzystujących sztuczną inteligencję. Wśród tych, którzy z nich nie korzystają, główną barierą ich zastosowania jest brak akceptacji ze strony organizacji, ograniczenia budżetowe i brak wiedzy specjalistycznej.

 Bariery związane z zastosowaniem narzędzi AI do wyzwalania incydentów

  • 36% – brak akceptacji ze strony organizacji
  • 34% – brak zaufania do AI
  • 34% – ograniczenia budżetowe
  • 28% – brak wiedzy specjalistycznej
  • 24% – zadowolenie z tradycyjnych rozwiązań
  • 1% – inne

Zarządzanie incydentami: plany i inwestycje

Ponad dwie trzecie organizacji korzysta obecnie z takich narzędzi jak: alerty, zarządzanie incydentami, monitorowanie, zarządzanie projektami, narzędzia komunikacji i czat.

Obecnie zastosowanie Planowane zastosowanie w ciągu 12 miesięcy Nie ma planów zastosowania w ciągu 12 miesięcy
czat
72%
22%
6%
narzędzia komunikacji
71%
24%
5%
zarządzanie projektami
69%
24%
6%
monitoring
68%
27%
5%
zarządzania incydentami
67%
29%
5%
alerty
65%
28%
6%
dokumentacja/wiki
60%
32%
8%
CI/CD
56%
38%
6%
CMDB/zarządzanie aktywami
54%
36%
9%

Jeśli chodzi o plany na dalszą przyszłość organizacje stawiają na pierwszym miejscu zwiększenie automatyzacji (54%) oraz poprawę dokumentacji i procesów (52%). Obie te taktyki mogą skrócić czas rozwiązywania incydentów, a co za tym idzie zwiększyć wskaźnik sukcesu jakim jest MTTR (Mean Time to Resolve).

Strategie związane z Incident Management w jakie organizacje będą inwestować w następnym roku:

  • 54% – wzrost automatyzacji
  • 52% – poprawa dokumentacji i procesów
  • 44% – zamówienie nowych narzędzi przeznaczonych do zarządzania incydentami
  • 44% – prowadzenie szkoleń dla pracowników
  • 44% – wzrost liczby zatrudnionych w zespołach zarządzania incydentami
  • 44% – wzrost kontekstu dla każdego incydentu
  • 40% – reorganizacja struktur raportujących w dziale
  • 38% – płatne zachęty w celu redukcji częstotliwości i czasu trwania incydentów
  • 2% – organizacja nie ma planów inwestowania w proces zarządzania incydentami

Chociaż zwiększenie automatyzacji procesu zarządzania incydentami można uznać za najważniejszy plan strategiczny na najbliższy rok, o tylko 5% spodziewa się w tym czasie  jego pełnej automatyzacji.

Procent procesów, które respondenci planują zautomatyzować w ciągu kolejnych 12 miesięcy:

  • 46% – pomiędzy 41 a 70%
  • 29% – pomiędzy 11-40%
  • 16% – pomiędzy 71-99%
  • 5% – 100% automatyzacji
  • 4% – mniej niż 10%

Jeśli chodzi o trendy związane z zakupem rozwiązań wspomagających zarządzanie incydentami to 6 na 10 respondentów preferuje najlepsze w swojej klasie produkty punktowe (66%) zamiast ujednoliconych narzędzi do obsługi incydentów. Oznacza to, że częściej wybierają różne produkty, które dobrze się ze sobą integrują, niż stawiają na jeden   produkt, który spełnia wszystkie funkcje.

Zakupy nowych narzędzi (49%) planują najczęściej organizacje o wyższych przychodach, powyżej 100 mln USD, ponieważ dysponują odpowiednimi zasobami.

Artykuł opracowany na podstawie raportu Atlassian: „The state of incident management report 2021”

Nadaj nowy wymiar działaniom ITSM
w Twojej Firmie

Dowiedz się jak poprzez realizowane przez nas projekty
możemy w pełni wesprzeć Twoje działania

Zwiększ efektywność swojego działu IT!

Skontaktuj się z nami i dowiedz się jak możesz poprawić efektywność pracy Twojego działu IT.