Microsoft förklarar varför problemet från oktober 2018 aldrig skulle ha inträffat

Efter den katastrofala inledande lanseringen av Windows 10 oktober 2018-uppdateringen försöker Microsoft igen idag, och i ett blogginlägg förklarade de sin strategi för att släppa högkvalitativa Windows 10-uppdateringar.

Microsoft kallade förra månadens problem "små men allvarliga" och sa att problemet motsäger en trend av kvalitetsförbättringar med varje på varandra följande Windows 10-släpp.

Michael Fortin, Corporate Vice President för Windows, sa att det fanns en reell och stadig nedgång i nyckelindikatorerna för produktkvalitet – kundtjänstsamtal och chattvolymer, även medan antalet datorer som kör Windows 10 ökade. Han hävdade också att Windows 10 April 2018 Update hade det högsta betyget Net Promoter av någon version av Windows 10.

Fortin sa att Microsoft investerar i feedback från kunder och partners för att hjälpa dem att forma och utforma produktspecifikationer, inklusive att definiera både nödvändiga tester och framgångsmått och använda en mängd olika automatiserade testprocesser när de utvecklar funktioner, vilket gör att de kan upptäcka och korrigera problem snabbt. Han insisterade på att testning var en viktig del av att leverera Windows och att funktioner behövde för att klara grundläggande tester för att integreras i Windows.

Han tog mycket kort upp frågan om att Microsoft avfyrade SDET-testare 2014 och noterade:

Vi flyttade ansvaret för basfunktionstestning till våra utvecklingsteam för att kunna leverera kod av högre kvalitet från början.

Han sa också att Microsoft har en stark kultur att köra den senaste interna versionen av Windows på sina egna maskiner och sedan se till att problem följs och åtgärdas.

Han noterar också att Microsoft-partners hade sina egna laboratorier där de testade Windows som inkluderade testning med:

• Externa testlabb med global, kontinuerlig täckning för applikationskompatibilitet, hårdvara och kringutrustning
• ISV:er för en rad appar inklusive Anti-Virus (AV)
• OEM-tillverkare samarbetar med Microsoft för att testa och säkerställa kvalitet över ett stort antal system, enheter och drivrutiner

Han ropade också upp Windows Insider-programmet för att ge färska och värdefulla insikter, med liknande program tillgängliga för andra kommersiella kunder som Windows Insider Program for Business som gör det möjligt för organisationer att få tillgång till Insider Preview-byggen för att validera appar och infrastruktur inför nästa offentliga Windows släpp.

Det finns också programmet för inbjudan endast för stora företagskunder, Technology Adoption Preview (TAP), som låter företagskunder ge tidig feedback på produktuppdateringar via verkliga produkttester för att hjälpa Microsoft att identifiera problem under utvecklingsprocessen.

När det är dags för faktiska releaser, noterade Michael att företaget använde datadrivet beslutsfattande med hjälp av detaljerade instrumentpaneler och mätvärden för att utvärdera byggen.

Han noterar att Microsoft använder sina realtidsdetekterings- och svarsmöjligheter för att rulla ut Windows på ett försiktigt och datadrivet sätt, och att deras första princip var att bara uppdatera enheter som deras data visar kommer att ha en bra upplevelse, för närvarande med en maskin inlärningsmodell för att välja de enheter som erbjuds uppdateringar först. Han säger att om Microsoft upptäcker att en enhet kan ha ett problem kommer de inte att erbjuda uppdateringen förrän det problemet är löst.

Utrullningen börjar också långsamt och är först endast tillgänglig för "sökande”, användare som vidtar åtgärder för att få uppdateringarna tidigt, medan Microsoft noggrant övervakar telemetri, inklusive feedback från deras kundtjänstteam, noggrant för att lära sig om nya problem. Microsoft analyserar också feedbackloggar och skärmdumpar direkt via Feedback Hub och lyssnar på signaler som skickas via sociala mediekanaler.

Om Microsoft hittar en kombination av faktorer som resulterar i en dålig upplevelse skapar de ett block som förhindrar liknande enheter från att ta emot en uppdatering tills en fullständig upplösning inträffar.

Microsoft säger att de fortsätter att titta på sätt att förbättra sin förmåga att upptäcka problem, särskilt problem med hög effekt där det finns låg volym och potentiellt svaga signaler, inklusive nyligen lagt till möjligheten för användare att indikera effekten eller svårighetsgraden av problemen när de ger feedback .

Fortin sa att trots de positiva trenderna hör de också tydligt rösterna från användare som står inför frustrerande problem, och lovar att göra mer och fokusera på ny kvalitetsfokuserad innovation inom produktdesign, utveckling, validering och leverans.

Det Fortin inte levererade var en riktig obduktion av varför problemen med uppdateringen från oktober 2018 ägde rum, och förutom arbetet med att förstärka "svaga signaler", varför sådana problem inte kommer att hända igen.

Läs Fortins fullt och långt blogginlägg här, och låt oss veta om du är nöjd med Microsofts inställning till Windows-testning.