Aufwand-Schätzungen - der Unterschied zwischen Plan und Ist

Die NASA hält sich ja im Moment schwer zurück mit irgendwelchen Zielen und Programmen. Gleichwohl gibt es die Erwartungshaltung, dass die privaten Anbieter es billiger und schneller können.

Fakt ist, dass die Shuttles dieses Jahr eingestellt werden sollen.
Plan ist, dass die Commercials irgendwann Astronauten ins All schicken sollen (schneller und billiger als bei Ares 1).

Die Frage nach der Umsetzbarkeit und des Zeitrahmens ist nicht nur eine technische, sondern vor allem auch eine organisatorische.

Auch wenn es noch keine Verträge oder feste Programme gibt, die Regierung hat sich hier eine Einschätzung zu eigen gemacht, die von den Commercials propagiert wird. Wir wissen eigentlich nicht, wer hinter dieser Vorstellung steckt, aber Spekulationen gehen in Richtung Lori Garver.

Hier ist nun eine schöne Nasa-Dokumentation aus dem Projektmanagement, der Untertitel ist schon Klasse:
"Hope is NOT a Valid Management Strategy".
Sie thematisiert, dass man optimistischen Schätzungen wenig glauben schenken sollte, vor allem, wenn man noch am Anfang steht, was bei den Commercials bzgl. Crew-Transport der Fall sein dürfte.
Projektbeispiele sind Apollo, Space Shuttle, ISS, etc.
Die Präsentation räumt auch auf mit der Vorstellung, dass früher alles besser war.

Witzig finde ich die Seite 15, wo ein bildlicher Vergleich gezogen wird zwischen Plan-Vorstellung und dem IST der Shuttle-Wartung. So hatte man sich diese "game-changing-technologie" Space Shuttle ursprünglich vorgestellt.
http://pmchallenge.gsfc.nasa.gov/docs/2010/Presentations/Glenn.Butts%20-%20Mega%20Projects%20Estimates.pdf

Die Commercials machen sicher einen tollen Job, aber mir scheint die Erwartunghaltung bei einigen bzgl. Zeit und Kosten doch etwas unrealistisch zu sein. Wenn man aber realistisch wäre, würde die Regierung so vorgehen, wie man es z.Zt. tut? Daher frage ich mich, ob und wann die Amis wieder einen Astronauten ins All schicken, sofern nicht mit der Sojus ?

Ob in der Präsentation die richtigen Schlußfolgerungen gezogen werden, um Schätzungen realistischer zu machen, ist dann nochmal eine andere Frage.

Hallo tomtom,

an sich ist das Thema gut und interessant, auch hast du einige Aspekte sehr gut zusammengefasst. Aber warum dieser eigene Thread und warum im technologischen Konzeptbereich? Ich sehe, so wie es eröffnet ist, momentan kein Alleinstellungsmerkmal und keine Trennschärfe zu den Strategiediskussionen im bemannten Bereich.

Bolden sagte letztens erst selber, dass das Shuttleprogramm ein "Beweis" dafür wäre, dass die kommerziellen Vertragspartner zuverlässig arbeiten.

Aber warum sollten ebendiese Vertragspartner in Eigenorganisation billiger, sicherer, zuverlässiger und schneller sein?
Gut, mit mehr Konkurrenz könnte billiger und schneller vielleicht eine Zeit lang erfüllt werden, aber sicher und zuverlässiger?

Hallo Schillrich,

ja, ich war mir auch unsicher wo ich das hinstelle. Es geht mir hier weniger um strategische Sichtweisen (auch wenn ich das hier erstmal so breitgetreten habe), sondern eher um den Aspekt -Aufwandschätzungen-.

Wirtschaftliche Aspekte führen unter den Strategiethread gerne schonmal zum zumachen und sind auch nicht auf bemanntes begrenzt. Es ist ein Versuch. Wenn es nur auf Strategiediskussion hinausläuft, kann man es auch vorhandenes anhängen.

Gruß tomtom

Ich bin skeptisch, da mir Trennschärfe und Inhalt noch fehlen.

Wenn hier pseudo-sozio-ökonomische Beiträge kommen und sich hinter "wirtschaftlichen Diskussionen" verstecken, wird auch hier zugemacht.

Ich lasse den Thread aber offen, da sich doch ein interessante Diskussion entwickeln kann. Das verlinkte Papier des GAO ist sehr interessant und auch kontrovers.

Dieses Bild ist schon interessant:


@tomtom: Beim kommerziellen Crewtransport muss kein 25 Tonnen Nutzlastträger entwickelt werden, 10 Tonnen LEO Nutzlast tun es auch, außerdem muss nur eine kleine LEO Kapsel entwickelt werden, nicht eine interplanetare Kapsel wie Orion. Laut HSF-Komitee kann eine solche Kapsel Ende 2016 einsatzbereit sein, das setzt natürlich voraus, dass jetzt schnell ein entsprechendes Programm auf den Weg gebracht wird. Als Referenz hat das HSF-Komitee hier das Geminiprojekt herangezogen, was vor 40 Jahren in einem ähnlichem Zeitraum  durchgeführt wurde.

Naja, ein Bild sagt mehr als tausend Worte ... aber sagt es wirklich etwas aus?

Die beiden Bilder stehen schon für das was mit dem Shuttle passiert ist, aber das lässt sich durch Zahlen belegen, nicht durch diese Bilder. Die Bilder sind einfach nur plakativ. Ein volles Gerüst gegenüber einem leeren Hangar ist noch keine wertvolle Aussage.

Am Anfang eines Programmes sind die Vorstellungen immer etwas "einfach". Also: wir betreiben ein Raumfahrzeug wie ein Flugzeug, und damit haben wir die Kosten gesenkt, weil das Prozessing so super "flugzeug-like" einfach ist. Das Dumme dabei ist, das sich ein Flugzeug von einem Raumfahrzeug halt trotzdem so sehr unterscheidet. Schon auf dem linken Bild kann man sich fragen wie die Angestellten zum Montieren der Nutzlast in die Nutzlastbucht kommen. Über die Radiatoren steigen? Also baut man eine Plattform. Und für dort wo man noch öfter hin muß auch noch Eine. Das ist dann das rechte Bild. Das linke Bild war also kein lang überlegtes Operations Concept, so wie es dortsteht, sonder eine einfache (naive?) Wunschvorstellung. Erst wenn man ein Vorhaben ausarbeitet, sieht man welche Probleme es gibt, und was alles notwendig ist. Die frühen Erwartungen sind immer "einfach".

Ich hätte hinter das Shuttle im Bild ja noch zwei Shuttles in einer Schlange gestellt, die die hohen Startraten (1* pro Woche geplant!) andeuten hätten können...

@tobi453: thx für den Bildeinbau..
Das HSF-Komitee meinte, dass ein kommerziell bemanntes System Ende 2016 einsatzbereit sei. Wo kommt diese Einschätzung her? Du sagst, dass man die Erfahrungen aus dem Projekt Gemini genommen hat. Diese Ansicht dürfte auch von den Kommerziellen kommen, zumindestens vertreten sie dies auf ihrer Webseite, auch R. Burton zitierte es.

Wir können ja mal festhalten, dass die Analogiemethode für Schätzungen gar nicht so schlecht ist, allendings muß man untersuchen, wo die Gemeinsamkeiten und wo die Unterschiede, und zwar in positiver wie auch negativer Richtung liegen.

Es lohnt vielleicht mal ein Vergleich Gemini/TitanII/Martin+McDonnall mit Dragon/Falcon9/SpaceX. Da ich nicht so im Thema bin, beschränke ich mich hier mal auf eine Angabe aus Wickipedia:
Die US Air Force bestellte die TitanII beim Entwickler Mitte 1960; bemannter Erstflug dann März 1965, nach zwei unbemannten Gemini-Starts.
Die Infos von SpaceX für das HSF, dass wohl zu der Aussage 2016 geführt hat:
http://www.spacex.com/20090617_Elon_Musk_Augustine_Commission.pdf
die mittlerweile veraltet sind (sh. geplanter Start unbemannte DragonLab1 - ursprünglich 2010, jetzt 2012?).
Ich würde SpaceX jetzt eher so in das Jahr 1955 reinschätzen.

Die "Einfach"-Theorie ist auch interessant. Die NASA-Präsi thematisiert dazu ja, dass in frühen Projektphasen der geschätzte Aufwand nur mit einer geringen Wahrscheinlichkeit eintreten wird. Wenn man eine höhere Eintrittswahrscheinlichkeit haben will, muß man das Budget um einen Faktor höher multiplizieren.
Bei den Privaten kann man sicher davon ausgehen, dass zumindestens solange keine Verträge zu unterschreiben sind, eher sehr optimistische Einschätzungen gemacht werden.

Bei der NASA wurden vom National Research Council Kostenschätzungen und -überwachung von Erdbeobachtungs- und Wissenschaftsprojekten analysiert. Den Gründen von Kostenüberschreitungen wollte man auf den Grund gehen und fordert eine Strategie zur verbesserten Planung und Kostenüberwachung dieser Missionen.

benannte Probleme:

• die Kostenschätzungen sind sehr unterschiedlich (mal mit Startkosten/Betriebskosten, mal ohne)
• Budgets werden oft in einer sehr frühen Phase genehmigt, in der zu optimistisch geschätzt wird. (besser nach dem preliminary design review)
• Kostentreiber:
  --- Instabilitäten im Projekt und der Finanzierung
  --- Probleme mit Entwicklung von Instrumenten oder Technologien
  --- Probleme mit Startservices (Verschiebungen, Umplanungen

Verbesserungen:

• "Parametrische" Kostenschätzung (basiert auf historischen Daten). - technische und programmatische Größen wie Masse, Leistung und Komplexität.
• vor allem bei >500 Mio Projekten notwendig
• Anreize für Programm und Projektmanager zum Erstellen von realistischen Schätzungen
• Sicherstellung, dass Schlüsseltechnologien ausgereift und verfügbar sind.
• mehr Ressourcen für frühe Projektphasen
• minimieren von Anforderungen an die Startservices; frühe Auswahl des Startsystems zur Vermeidung von Änderungsaufwänden

http://www.nap.edu/catalog.php?record_id=12946
http://www.spaceref.com/news/viewpr.html?pid=31237

SpaceNews berichtet über eine Reaktion auf die Studie.
http://www.spacenews.com/civil/100716-cost-control-strategies-elusive.html

Ed Weiler, NASA associate administrator for science, meint, dass es noch andere Faktoren geben muß. Man mache viele Reviews und Design-Studien, doch Projekte wie das JWST ergeben dennoch eskalierende Kosten.
Er vermutet eher die unbekannte Anzahl von Unbekannten oder das menschliche Verhalten und zeigt sich ratlos. "Niemand hat uns in den letzten 50 Jahren die magische Lösung geben können, bei all den Projekten, dessen Kosten davonlaufen."
Beispiel JWST:
- genehmigt 1999
- geschätze Lifecycle Kosten 5 Mrd $, bis jetzt in 10 Jahren 2 Mrd $ verbraucht
- vor 3 Jahren wurden Kosten von 260 Mio für 2011 geschätzt, jetzt sind es 470 Mio.
- eine Kamara (NIRCam) wurde 2001 mit 50 Mio. geschätzt, heute sind es 200 Mio.

Interessanterweise wird als Positiv-Beispiel das GPS 3 Programm genannt. Erfolgsfaktoren seien 2 Lieferanten, die beide im Wettbewerb am System bauen. Man sei etwas dem Zeitplan voraus und innerhalb des Budgets.
Dagegen wird angeführt, dass man ein Flagschiff-Projekt wie JWST nicht mit einem inkrementellen Projekt wie GPS vergleichen könne.

Dann wird noch nach Einsparmöglichkeiten gesucht
(- Reduzierung der Anforderungen und )
(- Absenken der Zuverlässigkeit durch weniger Tests).

Man mache viele Reviews und Design-Studien, doch Projekte wie das JWST ergeben dennoch eskalierende Kosten.

Vielleicht ist auch genau das das Problem. Wenn man eine machbare Lösung gefunden hat, sollte man vielleicht lieber dabei bleiben, statt noch diverse Umplanungen zu machen. Die kosten nämlich Zeit und damit Geld.

Kleines historisches Beispiel: Die ersten bemannten Raumflüge. In der UdSSR hat man sich überlegt: "Können wir eine Kugel als Rückkehrkapsel nehmen? Funktioniert! Gut nehmen wir!"

Währenddessen hat man in den USA monatelang Windkanaltests gemacht, bis man eine Entscheidung getroffen hat, für die beste erprobte Form (eine Kegelform). Das NASA-Problem sehe ich am ehesten da drin, immer die beste Lösung haben zu wollen, statt eine, die irgendwie auch funktioniert, aber vielleicht technisch nicht so elegant ist.

mfg websquid

Hallo websquid,

klingt plausibel, ich bezweifel allerdings etwas, dass das hier eine kulturelle Frage ist. Leider kenn ich keine Beispiele aus dem russischen Bereich, wär aber mal interessant.

Vielleicht kann man den Grund sehen in einer zu wissenschaftlich dominierten Projektweise, die dieses probieren und maximieren begünstigt, aber auch das glaube ich eigentlich nicht.

Zumindestens zeigt es, dass nicht bloß Großprojekte oder bemannte Projekte, sondern auch kleinere Science Projekte öfter mal mehr Geld benötigen als gedacht.

Im Projektmanagement sind Reviews nicht zu unterschätzen. Gerade am Anfang muss man viel "Schmalz" reinstecken, auch wenn es übertrieben scheint. Wenn man Risiken und Probleme zu spät erkennt, hat man keine Chance mehr diese im ursprünglichen Rahmen zu lösen.
Und gerade "Flagship"-Missionen sind immer von einem relativ hohen technologischen Risiko begleitet. Wenn sich "die Lösung" nicht zeigt, muss man Vorstudien und Tests machen und Demonstratoren bauen.

Wenn sich "die Lösung" nicht zeigt, muss man Vorstudien und Tests machen und Demonstratoren bauen.

Das ist klar. Mir gings auch nur um Sachen, wo es mehr als eine mögliche Lösung gibt. Da ist es dann eine Frage des Entscheidungsprozesses - testet man aus , was das beste ist, oder sucht man einfach so was raus. (Dabei sind Diktaturen klar im Vorteil )

mfg websquid

Hallo,

naja, ich sehe da auch nicht "den kulturellen Unterschied". In der UdSSR wurde auch viel Aufwand im Wettrennen betrieben, nur ist das nicht "so bekannt", da man keinen Einblick gewonnen hat. Dabei gab es auch Grabenkämpfe zwischen den "Anbietern" und teilweise sinnlose Doppelentwicklungen.
Außerdem, aus heutiger Sicht sind die "paar Monate" zwischen den jeweiligen Erstleistungen der Seiten doch wirklich marginal und so letztendlich auch kein echter Bewertungsmaßstab.

In allen Technologiebereichen sieht man heute ja die selben Symptome: Budget- und Zeitüberschreitungen. Dabei sind es meistens ja doch nur "Evolutionen" bspw. in Raum- und Luftfahrt. Trotzdem laufen Auftragnehmer und -geber quasi immer "sehenden Auges" ins offene Messer.
Abgesehen davon, dass die Komplexität hier das Risiko treibt, liegt das Problem wohl eher im kulturellen/politischen/rechtlichen/ökonomischen Bereich. Bei Ausschreibungen öffentlicher Aufträge muss es günstig sein, beherrschbar erscheinen und schneller gehen als bei den Konkurrenten. Beim Vertragsschluss wissen dann meist beide Seiten: Das wird nichts, den "Rest" entwickeln und bezahlen wir später. Hauptsache man hat erst mal den Vertrag ...

Im Rüstungsbereich kenne ich es, dass der Auftraggeber seine eigentlich existenten Vertrags- und Haftungsrechte nicht anwendet ... auß vielerlei Gründen. Ein Teil davon ist der menschliche Faktor, wo keiner für das Ende eines Projekt verantwortlich sein will ... eine Frage des Verantwortungsbewusstseins und des Führungsstils. "Sollen sich doch andere für so etwas opfern ... ich habe erfolgreich alles versucht."

(Insofern doch ein kulturelles Problem ... aber keins von  "Diktatur vs. nicht-Diktatur" )

Kostenschätzungen sind in der Raumfahrt immer ein Thema, dass man scheinbar oder tatsächlich nicht wirklich im Griff hat. Jetzt hat Lockheed in seiner Monatszeitschrift einen Bericht, wo man Besserung gelobt.

Man will weg von Schätzungen, wo für eine Aufgabe die Anzahl von Leuten geschätzt wird und eher zu Schätzungen, die auf vorhandenen Daten anderer Programme basieren. Man möchte auch mehr Standardisierung.
http://www.lockheedmartin.com/data/assets/corporate/documents/LMToday-Aug10.pdf

Interessant auch das Cost-Estimating-Handbuch der NASA von 2008:
http://www.nasa.gov/pdf/263676main_2008-NASA-Cost-Handbook-FINAL_v6.pdf

Da steht alles über Budgetierung und Kostenschätzung drin. Da dürfte dann eigentlich nichts mehr schief gehn.

Jedes Projekt, welches per Mehrheitsentscheidung zur ausführung kommt hat das Problem der Kostenexplosion.

Hintergrund ist, das die Befürworter sehr optimistisch und ohne Puffer kalkulieren, damit die Entscheidung zu gunsten ihres Projektes fällt. Merkt mann dann nach der Hälfte der Ausführung, dass das Projekt doppelt so teuer wird wie geplant, kann man meistens keinen Rückzieher mehr machen und das Geld wird halt nachgeschossen. Hätte man von Anfang an realistisch geschätzt, wäre das Projekt nicht zur Ausführung gekommen.

Heute muß ich mal wieder dieses langweilige Thema hervor kramen. .

Kostenabschätzung und -kontrolle ist natürlich auch für die ESA ein Thema - dort heißt es Cost Engineering. Zur Erfassung und Überwachung der Kostenstrukturen gibt es die (selbstgemachte?) Software ECOS. Info unter: http://www.esa.int/esaMI/Space_Engineering/SEMTSNFWNZF_0.html
 
Die gibts auch schon länger, so zb. im Bulletin 81 und 115 vorgestellt. Wenn ich das recht sehe, ist das aber weniger eine Software zur Kalkulation, sondern ein Werkzeug im Beschaffungprozeß gegenüber Lieferanten, also Ausschreibungen. Die Grenzen und Funktionen mögen auch fließend sein, da müßte man ins Detail gehen.

Für mich trotzdem etwas ungewöhnlich, dass ein Lieferant mehr oder weniger seine Kalkulation strukturiert in einer Work-Breakdown-Struktur dem Kunden elektronisch zur Verfügung stellt. Grundsätzlich beschreibt man ja die angebotene Leistung anders, als man den Produktionsprozeß organisiert.

Sollte es hier jemanden geben, der das Tool kennt, kann mich ja mal anschreiben.

Hallo tomtom,

nach meinem Wissen nutzt die ESA ECOS auch nur zum Sammeln der Anbieterdaten. Das wirkliche parametrische Cost Engineering wird dort wohl mit PRICE gemacht. Im DLR arbeitet man daran PRICE zu nutzen. Die Herausforderung ist die Datenlage zum "Anfangsfüttern" der Software, und wie Cost Engineering in die Projektprozesse integriert werden kann.

Zum Thema PRICE habe ich mir jetzt mal dieses Dokument angeschaut:
www.iisc.im/documents/Space_Policy_2008_5C.pdf
Da wird auch die EVM-Methode erläutert, die ich allerdings mehr aus dem IT-Bereich recht gut kenne.
Mit berechneten Kostenschätzungen auf vergangenen Daten und EVM Fortschreibungen habe ich eigentlich nur schlechte Erfahrungen gemacht. Ein paar Vorteile, zb. dass man sich methodisch fortbilden kann. Da würde ich von Cost Engineering im Raumfahrtbereich doch mehr erwarten.

Eigentlich ist das Verständnis über die Kosten (Entstehung/Dynamik) und dann die Projektstabilität der Schlüssel zur soliden Schätzung. Beides wird ersetzt durch eine mehr oder weniger lineare Formel, die sich aber in innovativen Projekten selten an diese Logik hält. (Stattdessen führt sie eher zu einer gewissen Eigendynamik.)

Beispiel JWST:
- genehmigt 1999
- geschätze Lifecycle Kosten 5 Mrd $, bis jetzt in 10 Jahren 2 Mrd $ verbraucht

wow, nach ein paar Monaten sind es jetzt nicht 5 Mrd, sondern schon 6,5 Mrd $.

Als Gründe werden genannt:
- keine Buttom-up Schätzungen
- Risiken wurden im Budget nicht berücksichtigt
- schlechtes Programm Management konnte trotz der Mängel weitermachen.

Man habe zwar gut in Technologieentwicklung investiert, aber die Kosten nicht im Griff.
Bolden hat sich sofort einsichtig gezeigt und will das Projektmanagement neustrukturieren.

http://www.spacenews.com/civil/101110-webb-costs-rise.html
http://www.aviationweek.com/aw/generic/story_channel.jsp?channel=space&id=news/awx/2010/11/10/awx_11_10_2010_p0-268507.xml&headline=James

Das die Verantwortlichen nach so einer Blamage einen Kotau machen und Besserung geloben ist allerdings auch nichts neues