Microsoft forklarer hvorfor oktober 2018-problemet aldri skulle ha skjedd

Etter den katastrofale første utrullingen av Windows 10 oktober 2018-oppdateringen prøver Microsoft igjen i dag, og i et blogginnlegg forklarte de sin tilnærming til å gi ut høykvalitets Windows 10-oppdateringer.

Microsoft kalte forrige måneds problemer "små, men alvorlige", og sa at problemet motsier en trend med kvalitetsforbedringer med hver påfølgende Windows 10-utgivelse.

Michael Fortin, Corporate Vice President for Windows, sa at det var et reelt og jevnt fall i nøkkelindikatorene for produktkvalitet – kundeserviceanrop og chat-volumer, selv mens antallet PC-er som kjører Windows 10 økte. Han hevdet også at Windows 10 April 2018 Update hadde den høyeste Net Promoter-vurderingen av alle versjoner av Windows 10.

Fortin sa at Microsoft investerer i tilbakemeldinger fra kunder og partnere for å hjelpe dem med å forme og utforme produktspesifikasjoner, inkludert å definere både nødvendige tester og suksessmålinger og bruke en rekke automatiserte testprosesser mens de utvikler funksjoner, slik at de kan oppdage og korrigere problemer raskt. Han insisterte på at testing var en viktig del av leveringen av Windows, og at funksjoner måtte bestå grunnleggende tester for å bli integrert i Windows.

Han tok veldig kort opp problemet med at Microsoft avfyrte SDET-testere i 2014, og la merke til:

Vi flyttet ansvaret for grunnleggende funksjonstesting til utviklingsteamene våre for å levere kode av høyere kvalitet fra starten av.

Han sa også at Microsoft har en sterk kultur for å kjøre den siste interne versjonen av Windows på sine egne maskiner, og deretter sørge for at problemer blir fulgt opp og fikset.

Han bemerker også at Microsoft-partnere hadde sine egne laboratorier der de testet Windows som inkluderte testing med:

• Eksterne testlaboratorier med global, kontinuerlig dekning for applikasjonskompatibilitet, maskinvare og periferiutstyr
• ISV-er for en rekke apper, inkludert Anti-Virus (AV)
• OEM-er samarbeider med Microsoft for å teste og sikre kvalitet på tvers av et stort utvalg av systemer, enheter og drivere

Han kalte også ut Windows Insider-programmet for å gi fersk og verdifull innsikt, med lignende programmer tilgjengelig for andre kommersielle kunder som Windows Insider Program for Business som lar organisasjoner få tilgang til Insider Preview-bygg for å validere apper og infrastruktur i forkant av neste offentlige Windows utgivelse.

Det er også invitasjonsprogrammet for store bedriftskunder, Technology Adoption Preview (TAP)-programmet, som lar bedriftskunder gi tidlig tilbakemelding på produktoppdateringer via produkttesting i den virkelige verden for å hjelpe Microsoft med å identifisere problemer under utviklingsprosessen.

Når det er tid for faktiske utgivelser, bemerket Michael at selskapet brukte datadrevet beslutningstaking ved å bruke detaljerte dashboards og beregninger for å evaluere byggene.

Han bemerker at Microsoft bruker sanntidsdeteksjons- og responsfunksjonene deres til å rulle ut Windows på en forsiktig og datadrevet måte, og at deres første prinsipp var å bare oppdatere enheter som dataene deres viser vil ha en god opplevelse, for øyeblikket ved bruk av en maskin læringsmodell for å velge enhetene som tilbys oppdateringer først. Han sier at hvis Microsoft oppdager at en enhet kan ha et problem, vil de ikke tilby oppdateringen før det problemet er løst.

Utrullingen starter også sakte og er først kun tilgjengelig for "søkere”, brukere som tar grep for å få oppdateringene tidlig, mens Microsoft nøye overvåker telemetri, inkludert tilbakemeldinger fra kundeserviceteamene deres, nøye for å lære om nye problemer. Microsoft analyserer også tilbakemeldingslogger og skjermbilder direkte gjennom Feedback Hub, og lytter til signaler sendt gjennom sosiale mediekanaler.

Hvis Microsoft finner en kombinasjon av faktorer som resulterer i en dårlig opplevelse, oppretter de en blokkering som hindrer lignende enheter i å motta en oppdatering før en full oppløsning oppstår.

Microsoft sier at de fortsetter å se på måter å forbedre deres evne til å oppdage problemer, spesielt problemer med høy effekt der det er lavt volum og potensielt svake signaler, inkludert nylig lagt til muligheten for brukere til å indikere virkningen eller alvorlighetsgraden av problemene når de gir tilbakemelding .

Fortin sa at til tross for de positive trendene, hører de også tydelig stemmene til brukere som står overfor frustrerende problemer, og lover å gjøre mer og fokusere på ny kvalitetsfokusert innovasjon på tvers av produktdesign, utvikling, validering og levering.

Det Fortin ikke leverte var en reell obduksjon av hvorfor problemene med oktober 2018-oppdateringen fant sted, og i tillegg til arbeidet med å forsterke "svake signaler", hvorfor slike problemer ikke vil skje igjen.

Les Fortins fullt og langt blogginnlegg her, og gi oss beskjed hvis du er fornøyd med Microsofts tilnærming til Windows-testing.