”At fejle er menneske; for virkelig at ødelægge ting kræver en computer. ”William E. Vaughan gjorde denne iagttagelse i 1969. At give kontrol over et automatiseret system medfører potentiale for, at systemet kan gå galt og forårsage alvorlig skade, før det kontrolleres.
Automation er ikke ny, men den bliver meget mere udbredt takket være integrationen af digitale og fysiske systemer. Ulempen med automatisering i skala er stor effektivitet. Men ulempen ved at stole på et sæt-det-og-glem-det-system er, at nogen muligvis undlader at indstille det ordentligt.
Med et system, der simpelthen følger igennem uden indgreb og ingen måde at stoppe maskinen, kan du have ødelæggende virkninger. Følgelig kan tech skabe den type situation, der er afbildet i ”Troldmandens lærling”, når det, der ser ud til at gøre livet lettere, faktisk løber tør for kontrol.
