Cuando vamos a la pestaña Inicio de Inicio > Ejecutar > regedit, podemos desmarcar ahí lo que no queremos que se cargue al inicio de Windows. Pero las entradas permanecen desmarcadas (no se eliminan).
Para hacerlo, Inicio > Ejecutar y escribir
regedit. Las claves desmarcadas las tenemos en estas dos claves del registro:

[HKEY_LOCAL_MACHINE\Software\Microsoft\Shared Tools\MSConfig\startupreg]
y
[HKEY_LOCAL_MACHINE\Sofware\Microsoft\Shared Tools\MSConfig\startupfolder]

Bastará eliminar las subclaves relacionadas con aquello que queremos quitar de "MSConfig". Para ver los efectos, no hace falta reiniciar Windows, sólo reiniciar "MSConfig".