Aufwand-Schätzungen - der Unterschied zwischen Plan und Ist

Das ist genau das, was ich bei der ESA/EU ziemlich lauthals bemängelt habe. Dieses hearing erinnert mich so stark an 2015, als man ULA und SpaceX vor den Kongress unter die Lupe nahm. Damals wurde die ULA wegen den Launchkosten in der Luft zerrissen und es sind hinterher große Koepfe gerollt. Von SpaceX wollte man damals lediglich, dass man etwaige Versprechungen bezüglich Terminen einhaelt. Außerdem hatte SX kurz danach seinen Zugang zu militärischen Aufträgen. Die US Steuerbehörde jagt seine Buerger um den gesamten Globus, um jeden Steuercent einzutreiben. Die Politik kann es sich deshalb gar nicht leisten, Multimilliarden in staatliche Unternehmen zu stecken, wenn der private Anbieter nebenan innovativer und guenstiger ist. Im Gegensatz zur EU passiert nach solchen Hearings etwas und ich wuerde mir das auch fuer Europa wuenschen. Ich glaube Klakow hat geschrieben, “wenn SLS eingestampft wird”. Ich hab nix dazu gesagt, aber ich stimme dem zu. Der Kongress wuerde noch den Countdown auf der Rampe stoppen, wenn es finanziell als sinnvoll erachtet wuerde. Ich kann sowieso keinen Sinn darin erkennen, warum die USA mehrere Superheavy Launcher haben muss.

Und wie kriegt man junges frisches Personal? In dem man junge frische Projekte angeht. Aber das ist weniger Sache der NASA, als die der Politik.

Als NASA wuerde ich das hearing sehr ernst nehmen und hoffe, dass man da die Kurve irgendwie kriegt.

- Als Beispiele für Ursachen werden u.a. genannt:
....
--- die Mentalität "to-big-to-fail" - etwas ist zu groß, enthält zu viel Investments um noch Scheitern zu können und führt zu grenzenlosen Überschreitungen.
....

Dieser Punkt scheint mir die SLS Problematik zu 100% zu beschreiben.

Dieser Punkt scheint mir die SLS Problematik zu 100% zu beschreiben.

Auch wenn es nahe liegt, glaube ich, dass es hier genau nicht der Fall ist.

Die "to-Big-to-fail"-Mentalität meint eher ein quasi überhebliches Projektmanagement nach innen, weil man ja irgendwie zu wichtig ist im Vergleich zu anderen und am Ende der Erfolg alles überstrahlt. Vor einiger Zeit stand das Mars-2020 Programm im Fokus. Aktuell ist es das JWST. Man beklagt, dass dort alles möglich zu sein scheint und andere Projekte von 150 Mio. einfach gecancelt werden.

Beim SLS trifft alles Mögliche zu, aber wirklich sicher waren die sich wohl nie, und dahinter steht aus welchen Gründen auch immer durchaus der politische Wille für das Projekt.

Zitat von: MpunktApunkt am 15. Juni 2018, 19:04:44

Dieser Punkt scheint mir die SLS Problematik zu 100% zu beschreiben.

Auch wenn es nahe liegt, glaube ich, dass es hier genau nicht der Fall ist.

Die "to-Big-to-fail"-Mentalität meint eher ein quasi überhebliches Projektmanagement nach innen, weil man ja irgendwie zu wichtig ist im Vergleich zu anderen und am Ende der Erfolg alles überstrahlt. Vor einiger Zeit stand das Mars-2020 Programm im Fokus. Aktuell ist es das JWST. Man beklagt, dass dort alles möglich zu sein scheint und andere Projekte von 150 Mio. einfach gecancelt werden.

Beim SLS trifft alles Mögliche zu, aber wirklich sicher waren die sich wohl nie, und dahinter steht aus welchen Gründen auch immer durchaus der politische Wille für das Projekt.

Sicher, dass die NASA noch in dieser Scheinwelt lebt? Oder kranken sie an den gleichen Problemen wie die ESA? Schwerfaellig und ein Spielball der Politik und Lobbyisten. Lediglich der Ruf der NASA ist immer noch prestigetraechtig. Die Regierung wird deshalb die NASA solange an der SLS bauen lassen, bis etwas Besseres auf dem Markt ist.

Der Kongress und die NASA befassen sich mal wieder mit Zeit- und Budgetüberschreitungen, deren Gründe und wie man es vermeiden könnte.
...

Gibt es dazu, neben der Meldung aus dem Kongress, einen Bericht, wo man mehr nachlesen kann?

Gibt es dazu, neben der Meldung aus dem Kongress, einen Bericht, wo man mehr nachlesen kann?

Hallo Daniel,

es gibt zB den Bericht des Government Accountability Office (GAO) vom Mai 2018:
NASA : Assessment of Major Projects, als 127-Seiten-PDF unter:

https://www.gao.gov/assets/700/691589.pdf

   Gruss   aasgeir

Danke ... kann ich gut gebrauchen

Ich habe den Bericht jetzt gelesen ... zumindest kam jede Seite mal an meinen Augen vorbei.

ich habe den Eindruck, dass die "executive summary" nur wenig direkt/konkret mit dem eigentlichen Bericht zu tun hat. Ich mache es an Folgendem mal fest:

- Von der Politik wird gefragt, ob der JCL-Ansatz (joint confidence level) richtig sei oder andere Werkzeuge zur Planung erforderlich wären. (JCL ist eigentlich wegen der Planungsprobleme erfunden worden, wurde aber zb. beim SLS nur sehr defensiv eingesetzt).

Bis auf eine Grundsatzaussage, dass es ein JCL gibt und knapp wie es zustande kommt, wird das Thema später nie wieder aufgegriffen oder gar kritisiert.

Aus dem Bericht habe ich folgende Grafik kopiert, in der man sehen kann, wie NASA derzeit ihre Projektkosten managt und plant:



Man erzeugt eine Kostenverteilung für das Projekt. Beim Kostenniveau des 50%-Quantils gibt man dem Projekt konkret Mittel an die Hand, samt operativer Projektreserve für ungeplante Arbeiten. Im Headquarter (großer Haushalt) plant man aber das Projekt mit dem Kostenniveau beim 70%-Quantil. Das ist das JCL. Die Differenz der beiden Kostenniveaus ist die Projektreserve im HQ. Das Projekt kann diese mit Begründung anfordern.

Die Kosten im oberen 30%-Quantil sind offenbar akzeptiertes Risiko ... dafür sind keine Mittel geplant/vorgesehen.

Muesste so eine Kostenschaetzung nicht fuer jedes Projekt individuell erstellt werden? Bei jedem Projekt gibt es andere Risikofaktoren. Das sieht fuer mich ziemlich stark nach “gewollt und nicht gekonnt” aus.

Es gibt einen Policy-Grundsatz, dass man "beim 70%-Quantil" plant ... und dass man die oberen 30% der möglichen Fälle einfach nicht einplant. Das ist einfach eine Risk-Policy.

Die Projektspezifik steckt dann in der konkreten Kostenverteilung des Projekts, d.h. auch seine Risiken. Die Kostenverteilung wird im Projekt individuell ertellt und führt dann zu einer projektindividuellen Spannweite und damit verknüpften Eintrittswahrscheinlichkeiten.

Wenn man Risikoklassen hat (NASA hat die), könnte man natürlich unterschiedliche "Fundinglevel" damit verbinden ... scheint hier aber nicht so zu sein.

Es gibt einen Policy-Grundsatz, dass man "beim 70%-Quantil" plant ... und dass man die oberen 30% der möglichen Fälle einfach nicht einplant. Das ist einfach eine Risk-Policy.

Die Projektspezifik steckt dann in der konkreten Kostenverteilung des Projekts, d.h. auch seine Risiken. Die Kostenverteilung wird im Projekt individuell ertellt und führt dann zu einer projektindividuellen Spannweite und damit verknüpften Eintrittswahrscheinlichkeiten.

Wenn man Risikoklassen hat (NASA hat die), könnte man natürlich unterschiedliche "Fundinglevel" damit verbinden ... scheint hier aber nicht so zu sein.

Habs kapiert. Weißt Du wie oft man in die 30 Prozent Risiko reinrutscht und dann umplanen muss?

Keine Ahnung an der Stelle. Aber offenbar übt man ja implizit Kritik an diesem JCL ... also meint man wohl, dass dies nicht gut genug ist, um sein Budget verlässlich zu planen. Dann gibt es natürlich zwei Quellen für Probleme:

• die 70% sind zu niedrig/zu hoch --> man plant zu häufig zu niedrig/zu hoch --> man muss nur das Quantil anpassen
• die Grundidee der probabilistischen Kostenverteilung und eines JCL ist falsch --> man muss die Methoden umkrempeln

Keine Ahnung an der Stelle. Aber offenbar übt man ja implizit Kritik an diesem JCL ... also meint man wohl, dass dies nicht gut genug ist, um sein Budget verlässlich zu planen. Dann gibt es natürlich zwei Quellen für Probleme:

• die 70% sind zu niedrig/zu hoch --> man plant zu häufig zu niedrig/zu hoch --> man muss nur das Quantil anpassen
• die Grundidee der probabilistischen Kostenverteilung und eines JCL ist falsch --> man muss die Methoden umkrempeln

Offensichtlich geht man meist von zu niedrigen Kosten aus, sonst wuerde sich das ueber die Zeit ausgleichen und man koennte Projekte aus einem fixen Budget quer finanzieren. Dass man damit irgendwann Probleme bekommt, ist klar.

Ich möchte mal gemäß der "Zuruffrage/Methode" mal einen Aspekt einbringen, der mir seit ca. 1 Jahr im Projektmanagement auffällt. Im "maschinenbaunahen" Bereich kommt es, soweit ich das im direkten und erweiterten Umfeld beobachten kann, gerade zu einer Art Paradigmenwechsel.
Wo bisher wie selbstverständlich auf einem sequentiellen Projektmanagment mit Meilensteinen, zugehörigen Budgets und regelmäßigen Projektmeetings a la Wasserfallmodell gearbeitet wurde, ist seit ca. 1 Jahr ein neues "Zauberwort/e" zu vernehmen.
Agiles Projektmanagement, Scrum etc. sind jetzt intern, wie extern (auch Berater) das neue Zauberwort. In den Grundlagenvermittlungen zu dieser neuen Zauberei wird der historische Erfolg und deren Etablierung hauptsächlich in Software/Programmierung gesehen. Nun wird das quasi auf den "Rest" mit starkem Hardwareinhalt ausgebreitet.

Nun stellt sich eine teilweise paradoxe Situation ein. Wo auf das neue "Tool" umgestellt werden muss - ohne, dass die "alten Dinge" ungeeignet waren.
Das Ganze wird noch durch den noch etwas jüngeren Hype "Künstliche Intelligenz" getoppt.

Bei entsprechend großen und/oder komplexen Projekten kann es da potentiell eine (zwischenzeitlich) ordenliche Verwirrung
geben.

In Summe werden damit ganz neue Wege und Ergebnisse bezüglich Projektabarbeitung erzeugt oder vorgeschlagen, die teilweise nicht mehr interpretiert werden können. Will damit sagen es kommen Prios, Inhalte raus, die verfolgt werden sollen, aber mit menschlicher Analyse nicht ausreichend bewertet werden können.
Bei menschlichen Entscheidungen gibt es ja mindestens eine Diskussion, Risikobewertung, etc. bei deren Pro und Con meistens eine Erklärung des Vorschlagenden herauskommt. Bei den neuen Zauberdingern ist das nur noch teilweise so...

Für die Luft- und Raumfahrbranche kann ich da aber keine Aussage treffen.
Ggf. könnte da die Spezis mal was andeuten oder zum Besten geben. Das ganze hat Potential in beide Richtungen.

dksk

Hallo dksk,

beziehst du dich bei deinen letzten Aussagen
- keine Diskussion
- keine Risikobewertung
- nicht-interpretierbare Ergebnisse

auf KI oder Agile Methoden?

Agile, produktorientierte Iterationen in kleinen Teams kann man in der Raumfahrt wohl schon sehen. Ich denke allerhand CubeSat-Programme laufen so von Generation zur Generation, oder zumindest in Anlehnung so. Planet brachte alle paar Monate neue Generationen ihrer Flock-Cubesats raus und in den Orbit. Das hört sich sehr nach "Sprints" à la "Scrum" an, also agiles Entwickeln.

Ihre Grenzen finden agile Methoden in großen Projekten, da man ja schnell riesige, verteilte Teams hat. Da sind "gemeinsame Sprints" kaum möglich. Außerdem, wenn es um sicherheitskritische Entwicklungen geht, dürfte man sich kaum auf Iterationen verlassen, sondern bleibt wohl beim klassischen Wasservall-/V-Modell, um das Richtige richtig zu designen, im ersten Anlauf.

Aber es gibt ja Synthesen von rigider Klassik und agiler Moderne, z.B. "Feature Driven Development", mit einem rigiden Breakdown oben "im Problem" und mit der Erlaubnis zur agilen/flexiblen Lösungssuche unten für die Teilprobleme.

(sind jetzt eine Menge Buzz-Words eng hintereinander geworden ...)

Die letzten Aussagen beziehen sich hauptsächlich auf KI. Da ist aber auch eine Grenzbereich hin zu den Projektmanagementmethoden. Z.B. Dinge, die man bisher "von Hand" oder mit "advanced Excel" noch grundsätzlich nachvollziehen konnte, werden dann in eine "System" eingegeben und ein Ergebnis kommt heraus.
Wenn ich z.B. mit mehreren parallel zeitnah oder auch zeitversetzen Projekten gemeinsame Kapazitäten brauche, kann ich mit Matrizen und Spaltenwichtungsverfahren relativ einfach und schnell eine optimale Staffellung/Abarbeitungsreihenfolge erzeugen, die die Gesamtzeitbedarfe (und darauf läuft es meistens hinaus) minimiren kann.
Bei den KI Systemen ist aus meiner Erfahrung auch das Problem, daß mit zuviel "positivem" Input in der Anlernphase gearbeitet wird, da ja ein Ideal rauskommen soll. Bzw. die Verständnisgrenze von Projekt/Produktseite zu der KI Systematik ist sehr fest und schlecht zu überwinden (in beide Richtungen)
Mir kommt es so vor, als ob immer irgenwie ein "Bild" erzeugt werden soll, welches dann analysiert wird. Bei bildbasierenden Systemen kann man aber manchmal auch sehr "lustige" Ergebnisse bekommen.

Zum Thema "sicherheitskritische Themen" ist da eh eine endlose Diskussion schon da. Alleine wenn man in der FMEA konsequent mit Risiko, Auftreten etc. umgeht hat man bei 8 Teilnehmern 9 Meinungen. Da gibt es ja auch Bewertungskataloge, LL und das ganze Geraffel. Oft bringt dann die menschliche Diskussion nicht gleich eine gemeinsame Bewertung - ABER - oft wird die Funktion/Fehlfunktion bzw. das Produkt durch die angrenzenden Abteilungen überhaupt erst verstanden.


dksk

Der Paradigmenwechsel Klassisch vs. Agil ist in der Raumfahrt ja auch durch SpaceX geprägt, die angetreten sind, Vorgehensweisen der Softwareindustrie in die Raumfahrt zu übertragen. Dementsprechend war die Zusammenarbeit zwischen NASA und SpaceX streckenweise sehr schwierig. (Legendär der Spruch von SpaceX: unsere Software hat keine Fehler). Nach vielen Jahren hat sich das Verhältnis wahrscheinlich normalisiert.

In Summe werden damit ganz neue Wege und Ergebnisse bezüglich Projektabarbeitung erzeugt oder vorgeschlagen, die teilweise nicht mehr interpretiert werden können.

Interessant, dass du eine Verbindung von Projektmanagement und KI ziehst. "KI" ist ein Oberbegriff, sofern du Methoden wie Monte Carlo Tree Search, Deep Learning und Neuronale Netze meinst, würde ich dir zustimmen. In diesem Zusammenhang liefert KI Ergebnisse(Output) auf Basis von Massendaten(Input), die der Mensch nicht mehr selbst ermitteln könnte, aber die Interpretation(Erklärung) des Ergebnisses liegt beim Mensch.

Will damit sagen es kommen Prios, Inhalte raus, die verfolgt werden sollen, aber mit menschlicher Analyse nicht ausreichend bewertet werden können.

Da würde ich widersprechen.

Bei menschlichen Entscheidungen gibt es ja mindestens eine Diskussion, Risikobewertung, etc. bei deren Pro und Con meistens eine Erklärung des Vorschlagenden herauskommt. Bei den neuen Zauberdingern ist das nur noch teilweise so...

Um mal den Dreh zum Topic zu finden - die o.g. Joint-Confidence-Level Methode ist vielleicht auch so ein Ding. Mit der Risikoanalyse für jeden Vorgang und einer Simulation werden mögliche Projektverläufe simuliert (BigData), die dann in 70% aller Fälle einen entsprechenden Budget/Zeitbedarf erfordern.
Warum das so ist, weiß man dann eigentlich nicht, aber man muß es interpretieren.

Wenn du Einsatzbereiche von KI im Projektmanagement siehst, kann du die ja ggf. noch mal konkretisieren.

Hallo tomtom,

...
Joint-Confidence-Level Methode ist vielleicht auch so ein Ding. Mit der Risikoanalyse für jeden Vorgang und einer Simulation werden mögliche Projektverläufe simuliert (BigData), die dann in 70% aller Fälle einen entsprechenden Budget/Zeitbedarf erfordern.
Warum das so ist, weiß man dann eigentlich nicht, aber man muß es interpretieren.
...

Da widerspreche ich jetzt .

Bei einer KI mit neuronalen Netzen ändert sich "die Denkstruktur" der Simulation, sodass man nach x Durchläufen "den Sinn" der Struktur nicht mehr nachvollziehen kann, außer, dass sie ein bestimmtes Ergebnis liefert.
Bei einer stochastischen / MC- Simulation bleibt "die Denkstruktur" immer stabil und ist sogar vom Menschen angefertigt, d.h. der Mensch hat festgelegt, welche Größen eingehen, hat deren Verteilungen quantifiziert und wie sie zusammenwirken. Die Simulation "füllt" diese Struktur einfach nur mit Daten, ändert aber nie die Struktur selbst.

Eine stochastische Simulation kann man nachvollziehen, da Struktur und Sinn stabil zusammenwirken. Bei einer KI geht das verloren. Auch hier kann ich schon jeden Rechnzyklus quantitativ nachvollziehen, aber das "warum denn so" ist nach x Durchläufen nicht mehr erkennbar. Sie wird zur Black-Box.

Ja, stimmt. JCL gehört wohl auch in die Kategorie, die man "grundsätzlich noch nachvollziehen kann". Aber trotzdem vielleicht auch in die Kategorie "Zauberding", wo nur noch viele Daten "in ein System eingegeben und ein Ergebnis heraus kommt" (quantifiziert wird).

Das stimmt. Wenn dann mit solchen Konfidenzaussagen auf Managementebene sinnlos* argumentiert und postuliert wird, passieren solche "Sicherheitsaussagen" zu Erfolg wie bei Schiaparelli ... über die man sich später wohl etwas schämt.


*ohne sinngebende und einschränkende Verbindung zur Modellierung und Simulation

Bzgl. Kosten- und Zeitmanagement in Projekten hat die NASA eine Erfahrung aus dem COTS-Programm für diese Art von Programmen:

Nutze "firm-fixed-price"-Verträge zusammen mit klaren Leistungs-Zahlungsmeilensteinen.


"Firm-Fixed-Price" (FFP) fixiert das Volumen und den Gewinn absolut, im Unterschied zu "cost-plus" (C+). Kombiniert man den FFP mit klaren Leistungs-Zahlungsmeilensteinen, motivert das die Industrie den Zeitplan und die Leistung einzuhalten, sonst bekommen sie ihr Geld später oder nicht. Das Leistungsrisiko geht auf die Industrie über. Kostenrisiko für die Agentur besteht nur, wenn unbekannte Risiken auftreten und zu Aufstockungen führen. FFP geht aber auch nur bei "gut planbaren Beschaffungen" mit reifen Technologien, wie eben COTS und CRS, da die Kosten und der Preis sehr gut kalkulierbar sein müssen.

Bei C+ steigt die Gewinnmenge mit den Kosten, bzw. würde auch mit ihnen sinken. Dadurch motiviert C+ eigentlicht nicht zu Sparsamkeit und Geschwindigkeit. Eine technologische Neuentwicklung wird man wohl trotzdem besser mit C+ managen, sonst macht da keiner mit ... mit den dann innenwohnenden, strukturellen Problemen von C+.