Labi zināms, ka ideju par iespējamo cilvēces iznīcināšanu mākslīgā intelekta (MI) izpildījumā pētnieki un filozofi apspriež jau vairākas desmitgades, vienlaikus cenšoties saprast: vai vispār būs iespējams kaut kādā mērā vadīt un pārvaldīt augstākā līmeņa datorizētu superintelektu? Jaunākās atziņas pauž, ka šeit problēmu rada tas, ka nolūkā kontrolēt superintelektu, kas atrodas kaut kur ļoti tālu aiz cilvēka sapratnes spēju robežas, vispirms nepieciešams uzmodelēt šo superintelektu, padarot to tādu, lai varētu to analizēt un arī kontrolēt. Vārdu sakot, te tad arī slēpjas problēma: ja cilvēki nemaz nav spējīgi ar savu prātu to aptvert, tad viņi nemaz nav spējīgi radīt tādu simulāciju.

Atzīts, ka nav iespējams izveidot tādu likumu, kā “nekaitēt cilvēkam”, ja cilvēki paši nemaz neapjēdz, kādus scenārijus vispār tāds MI var piedāvāt. Tiklīdz attiecīgā datorsistēma sāk darboties līmenī, kas pārsniedz programmētāju cilvēku līmeni, vairs nav iespējams nekam noteikt nekādus ierobežojumus.

Superintelekts vispār ir pilnībā cita problēma, ja salīdzina ar tiem intelekta veidiem, kurus parasti pētī “robotizētās ētikas” ietvaros. Tas esot saistīts ar to, ka superintelekts ir daudzšķautņains un līdz ar to potenciāli spējīgs mobilizēt visdažādākos resursus tādu mērķu sasniegšanai, kas potenciāli nav sasniedzami cilvēkam, nerunājot nemaz par to, ka kaut ko tādu varētu arī kontrolēt.