Warum sollten Computer niemals Intelligenz und Bewusstsein entwickeln können? Wir haben Bewusstsein, dabei ist unser Gehirn nichts Magisches/Übernatürliches. Es ist nichts weiter als sehr komplex organisierte Materie. Ausreichend leistungsfähige Hardware + ausreichend komplexe Software vorausgesetzt, sollten Maschinen uns deshalb auch mental ebenbürtig werden können.
Und sobald sie soweit sind, können sie sich selbst weiterentwickeln, nur dass sie dabei einige entscheidende Vorteile haben: Sie können sich beliebig untereinander vernetzen und ihr Wissen miteinander teilen, sie können das gesamte Wissen der Menschheit überblicken und darauf zugreifen (kein Mensch kann heute noch "alles" wissen, wir sind Spezialisten), sie haben keine biologischen Limitierungen etc.
Um sicherzustellen, dass eine übermenschliche KI "freundlich" ist, wäre es wahrscheinlich das beste, den menschlichen Geist als Kern dieser KI zu nehmen und darauf aufzubauen. In gewisser Weise wäre die KI dann menschlich, nur viel leistungsfähiger...