In Teil zwei der Blogreihe “Evaluation von ERP-Projekten aus Beratungssicht” soll es nun um den Entwicklungsprozess und die konzeptionelle Umsetzung eines Messinstrumentes gehen, über welches interne Beratungsprojekte kritisch bewertet und untereinander vergleichbar gemacht werden können. Im ersten Teil der Blogreihe wurde ein Blick auf die Motivation hinter einer solchen Erfolgsmessung, die damit verbundene Zielstellung und den wissenschaftlichen Status Quo in diesem Bereich sowie in die thematisch zugrundeliegende Abschlussarbeit geworfen. So konnten bereits Modelle und Kriterien genannt werden, die für eine Erfolgsmessung im Bereich von ERP und dem Management Consulting von wissenschaftlicher Relevanz sind. Nun soll es darum gehen, wie diese Kriterien miteinander verknüpft und messbar gemacht werden können. Die präsentierte Umsetzung stellt keineswegs eine alternativlose und starre Lösung zur Begegnung dieser Herausforderung dar, sondern zeigt vielmehr mit einem möglichen Weg der Umsetzung, der nach wissenschaftlichen Gesichtspunkten praktikabel erscheint und jederzeit angepasst, erweitert und kritisch hinterfragt werden kann und auch sollte.

Zur Entwicklung eines Messinstruments ist es zunächst sinnvoll ein Konstrukt, Rahmenwerk oder Modell zu Grunde zu legen, um den verschiedenen Betrachtungsebenen und Kriterien eine Grundform zu geben. Auf dieser Basis können Anpassungen vorgenommen werden, die entsprechend des Anwendungsfalles zielführend erscheinen - in diesem Fall die Adaption auf die Evaluierung von ERP-Projekten aus Beratungssicht.

Aufgrund der Diskrepanz des Umfangs zwischen der zugrundeliegenden Abschlussarbeit und des Blogs wird im Folgenden die Begründung für die Wahl von Entscheidungen bei der Modellentwicklung weitestgehend außen vorgelassen und lediglich auf die Umsetzung und Ergebnisse eingegangen.

Auswahl und Definition des Rahmenwerks

Ein Beitrag von Rosemann & Wiese (1999) hat bereits in der der Abschlussarbeit vorangestellten Forschungsarbeit die Adaptierbarkeit der sogenannten Balanced Scorecard (BSC), die als weit verbreitetes strategisches Management-Tool auf die Erfolgsbewertung in ERP-Implementierungen angewandt werden kann, begründet. Dieser Ansatz ist demnach auch für die Erfolgsevaluierung aus Sicht der ERP-Dienstleister interessant. So können finanzielle, prozessbedingte und managementnahe Faktoren sowie die Kundensicht und Lerneffekte bereits mit den üblichen vier Sichten (Finanzen, Kunde, Prozess, Lernen und Entwicklung) kategorisiert werden. Der Vorschlag zur Entwicklung des Messinstruments auf Basis der BSC als Rahmenwerk wurde auch intern akzeptiert und begrüßt.

Die vier Sichten der BSC wurden beibehalten und im Kontext der ERP-Beratung sowie zur logischen Einordnung der zugeordneten Erfolgsfaktoren und -dimensionen eingehend beschrieben, um eine klare Differenzierung zu ermöglichen.

Die Sicht Finanzen wird bezüglich des finanziellen Einflusses des Projekts auf das Unternehmen ausgewertet. Die Bewertung erfolgt in Relation zu anderen ERP-Projekten, um zu erkennen, ob dessen Einfluss sich besonders positiv oder negativ auf die Geschäftsfähigkeit auswirkt. Wie es für Dienstleistungen charakteristisch ist, spielen Personalkosten und Umsatz entscheidende Rollen für die entsprechenden Auswertungen.

Die Sicht Prozess befasst sich mit dem gesamten Beratungs- und Entwicklungsprozess im Projektverlauf. Dabei werden sowohl beratungsinterne Faktoren als auch Faktoren, die aus der Zusammenarbeit mit dem Kunden heraus eine Rolle spielen, berücksichtigt. Der Fokus liegt hierbei vor allem auf dem Erfolg im Bereich Management und qualitativen Rahmenbedingungen. Diese Sicht umfasst vor allem die Zufriedenheit mit der Beratungsleistung und die beratungsinterne Zufriedenheit im Rahmen des Projektprodukterfolges sowie den Projektmanagementerfolg.

In der Sicht Kunde spiegelt sich die Kundenzufriedenheit mit dem System wider. Als alternative Benennung der Dimension wäre daher auch System treffend. Während in der Sicht Prozess eher menschliche Faktoren eine Rolle spielen, liegt der Fokus hierbei in der technischen Umsetzung. Diese Sicht umfasst daher vor allem die Produktzufriedenheit, samt Akzeptanz und Nutzung des Produkts im Rahmen des Projektprodukterfolges.

Die Sicht Lernen und Entwicklung beruft sich auf die aus dem Projekt gewonnenen Erkenntnisse und Folgen für die weitere Entwicklung des Unternehmens. Dies kann sowohl finanzieller als auch intellektueller oder zwischenmenschlicher Natur sein.

In Referenz zum BSC-Ansatz von Rosemann und Wiese (2001) und an die Sicht der IT-Beratung adaptiert, entsteht so ein vierdimensionales Konstrukt als Ausgangslage für die Bewertung der ERP-Projekte, das folgend dargestellt ist und mit dessen Hilfe für jeden Bereich entsprechende Fragen beantwortet werden sollen:

Definition des Messinstruments: Grundannahmen und Strukturierung

Im Resultat der theoretischen Basisarbeit erfolgt die Befüllung der BSC-Sichten mit Erfolgskriterien und deren Differenzierung nach für die weitere Entwicklung des Messinstruments relevanten Gesichtspunkten.

Basierend auf der Literaturanalyse muss festgestellt werden, dass die Literatur bei Erfolgskriterien zwar kontinuierlich zwischen Erfolgsdimensionen und den für diese als Treiber agierenden Erfolgsfaktoren unterscheidet, die Zuordnung der Kriterien zu den beiden Typen jedoch nicht immer eindeutig ist. Auf Erfolgsfaktoren aus Kundensicht wurde aufgrund von Redundanzen mit den berücksichtigten Erfolgsdimensionen verzichtet. Erfolgsfaktoren aus der Beratungsforschung werden hingegen zunächst als zusätzliche Betrachtungspunkte mit in die Modellentwicklung integriert.

Da eine Erfolgsbewertung grundsätzlich auf Basis von Erfolgsdimensionen durchgeführt werden sollte und eine Integration von Erfolgsfaktoren, wenn diese als solche anerkannt werden, nicht stringent ist, wird für das Modell zwischen dem Erfolg im engeren und im weiteren Sinne differenziert. Zu beachten ist hierbei, dass beim Erfolg i. e. S. die Erfolgsfaktoren exkludiert und beim Erfolg i. w. S. die Erfolgsfaktoren als Erfolgsdimensionen und Teil der Bewertung integriert werden. In diesem Zusammenhang erfolgt bei Notwendigkeit eine entsprechende Anpassung der Gewichtung für die betroffenen Erfolgsdimensionen.

Für das weitere Vorgehen müssen die Erfolgskriterien zunächst zusammengefasst und strukturiert werden, da viele Autoren verschiedene Begrifflichkeiten für gleiche oder ähnliche Kriterien verwenden. Im Anschluss werden diese der passenden BSC-Dimension zugeordnet und damit Teil der Erfolgsbewertung für diese Dimension. Für jedes Kriterium erfolgt eine exklusive Zuweisung als Erfolgsdimension oder Erfolgsfaktor. In Antizipation der späteren Operationalisierung und Fragebogenableitung zur Datenerhebung ist es nötig, jedes Kriterium einem Adressaten und einer Sicht zuzuweisen. Unter einem Adressaten wird an dieser Stelle die mithilfe der Kriterien zu bewertende Partei oder das zu bewertende System verstanden. Für das Messinstrument ergeben sich folgende Adressaten und Kürzel für die tabellarischen Darstellungen:

• Berater (B): operative oder strategische Projektteilnehmer der Beratung,
• Kunde (K): operative oder strategische Projektteilnehmer des Kunden,
• System (S): das zu bewertende ERP-System als Adressat.

Unter einer Sicht wird die den Adressaten anhand der Kriterien bewertende Partei verstanden. Für das Messinstrument ergeben sich folgende Sichten und Kürzel für die tabellarischen Darstellungen:

• Berater (B): operativer oder strategischer Projektteilnehmer der Beratung erhält den Evaluationsauftrag über den Adressaten,
• Kunde (K): operativer oder strategischer Projektteilnehmer des Kunden erhält den Evaluationsauftrag über den Adressaten,
• Gemeinsam (G): Berater und Kunde erhalten den gemeinsamen Evaluationsauftrag im Dialog über den Adressaten.

Gemäß den Erläuterungen unterlag die erste Phase der Modellentwicklung des Basisdesigns daher folgendem Ablauf:

Im Resultat entsteht das Grundkonstrukt des Messinstruments als Basis für die nachfolgende Operationalisierung.

Definition des Messinstruments: Operationalisierung und Wertursprung

Mit dem festgelegten Basiskonstrukt und den angedachten Modifikationen ist eine passende Grundlage für die Operationalisierung gegeben. Diese hat neben der üblichen Auswahl passender Indikatoren, Merkmalsausprägungen und Codierungen zur Messbarmachung der latenten Konstrukte (Kriterien) auch die Realisierung der strukturellen Modifikationen auf Ebene der Kriterien zum Ziel. Im ersten Schritt wurden daher zunächst alle Kriterien des Basiskonstrukts operationalisiert. Infolgedessen wurden in wiederkehrenden Feedbackgesprächen mit dem wissenschaftlichen Betreuer der Abschlussarbeit und Ansprechpartnern bei manaTec die genannten Kriterien feingranular optimiert, indem einzelne Indikatoren ergänzt, angepasst, umverteilt oder im Falle inhaltlicher Redundanzen mit anderen Indikatoren eliminiert wurden.

Die Indikatoren zur genaueren Beschreibung der Einflussfaktoren des Kriteriums sind vorrangig aus den Vorschlägen der angegebenen Literatur übernommen, angemessen reduziert, übersetzt und für den Anwendungszweck entsprechend ausformuliert worden. Alle Indikatoren dienen der Bewertung des jeweiligen Kriteriums nach Punkten, wobei eine höhere Punktzahl ein besseres Ergebnis repräsentiert. Daher kommt für alle Merkmalsausprägungen der Indikatoren nur die Ordinalskala infrage, um eine Rangfolge an gegebenen Antwortoptionen darstellen zu können. Es wurde darauf geachtet, jedem Indikator maximal vier und mehrheitlich eine gerade Anzahl an Antwortoptionen zu hinterlegen, um eine tendenzielle Festlegung des Rezipienten zu forcieren und dem Bias zu mittleren Antwortmöglichkeiten entgegenzuwirken. Jeder Merkmalsausprägung wird eine Codierung zugewiesen, die im Maximum (bestmögliche Antwort nach Rang) die Maximalpunktzahl eines Indikators und im Minimum (schlechteste Antwort nach Rang) die definierte Minimalpunktzahl null festlegt. Es ist bedeutend, dass null für jeden Indikator die Minimalpunktzahl darstellt, um eine prozentuale Abbildung des Erfolges über alle Indikatoren und Kriterien hinweg im Definitionsbereich von null bis 100 Prozent darstellen zu können. Da der relative Erfolg in jedem Kriterium für die Verrechnung genutzt wird, ist die Gesamtanzahl der Indikatoren und damit der Punkte je Kriterium für die Erfolgsbetrachtung auf Dimensionsebene irrelevant und lediglich die Verteilung zwischen den Indikatoren entscheidend. Allerdings ist zu beachten, dass eine höhere Anzahl an Indikatoren genauere Auswertungen für das Kriterium ermöglichen kann, da beispielsweise Ausreißer oder Fehlbewertungen weniger ins Gewicht fallen. Problematisch ist allerdings, dass dies mit einer größeren Anzahl an Fragen einhergeht, was für ein so umfassendes Messinstrument nachteilig sein kann. So könnten beispielsweise die Stimmung oder die Aufmerksamkeit mit steigendem Fragebogenumfang sinken, was die Datenqualität entgegen der ursprünglichen Intention negativ beeinträchtigen kann.

Jeder Indikator des Kriteriums wird für das Messinstrument indiziert, einer passenden Frage zugeordnet, mit Antwortoptionen als Merkmalsausprägungen versehen und entsprechend dieser codiert. Es wird zudem festgelegt, ob die operative Ebene (O), vertreten durch Key User und Consultants, oder aber die strategische Managementebene für die Beantwortung der Frage adressiert wird. Diese nach sogenannten Senioritätsgrad getrennte Betrachtung ist wichtig, da nicht jede Entscheidungsebene der Beratung Einblick in jeden Themenbereich des Projekts hat. Aus der Kombination aus Sicht und Ebene kann im Anschluss ein eindeutiger Wertursprung definiert werden. Dieser entspricht dem Adressatenkreis zur Beantwortung der jeweiligen Indikatorfrage, die in der Messtabelle zum Messinstrument die Ist-Werte zur Maximalpunktzahl beisteuert.

Die den Kriterien und Indikatoren zugrundeliegenden Fragen sowie zugehörigen Merkmalsausprägungen können hier aufgrund des Umfangs nicht präsentiert werden. Einen Einblick hierzu können Sie jedoch im letzten Teil der Blogreihe erhalten, in welchem es auch um die Erstellung der Fragebögen in Odoo auf Basis der Operationalisierung geht.

Definition des Messinstruments: Finalisierung über Gewichtungen

Die Struktur für die formale Gewichtung ist abgeschlossen, indem die Wertursprünge als Datenquellen der Ist-Werte für die Berechnung der Erfolgskennzahlen, die Indikatoren pro Kriterium, die Unterscheidung der Kriterien nach Erfolgsfaktoren und -dimensionen sowie die Zuweisung zu einer Dimension definiert wurden. Nachfolgende Abbildung präsentiert das im Sinne der Lesbarkeit und der für die Darstellung des Einflusses der Gewichte passend reduzierte Messinstrument bis auf Ebene der Kriterien.

Neben der Gewichtung wird zudem die summierte Maximalpunktzahl pro Kriterium anhand der erweiterten Standardcodierung dargestellt. Eine Besonderheit ist die Zuordnung als Erfolgskriterium i. e. S. (ED) oder i. w. S. (EF), welche beeinflusst, ob ein Kriterium für die gewünschte Auswertung involviert oder ignoriert wird. Für den Erfolg i. e. S. sind die Erfolgsfaktoren nicht relevant und G(P₁) wird mit 100 % gewichtet. Für den Erfolg i. w. S. werden G(P₁) und G(P₂) auf 100 % ausgeglichen, sodass das Ergebnis der Erfolgsfaktoren mit G(P₂) in das Ergebnis der Prozessdimension eingeht. Bei der Prozesssicht erfolgt daher eine Trennung auf Ebene des Erfolgskriteriums und eine zusätzliche Gewichtung je nach gewünschter Auswertung. In den übrigen Sichten geht der gewichtete Erfolg der Kriterien direkt in die Dimension ein. Daraus schließend und wie in der Messtabelle ersichtlich wird, ergeben sich drei Gewichtungsebenen für die Dimensionen (G(Dim.)), Erfolgskriterien (G(EK)) und die Kriterien (G(ID)). Jede Ebene muss sich zu einer Gewichtung von 100 % ausgleichen, um eine Erfolgsberechnung im Wertebereich von 0 bis 100 % zu ermöglichen. Diese Version des Messinstruments kann als formales Template für den Einsatz in anderen IT-Beratungsunternehmen zur Messung des Erfolges in ERP-Projekten angesehen werden. Es beschreibt neben den Zielwerten alle nötigen Bereiche, die zur Gewichtung definiert werden müssen, und ist direkt in der Praxis anwendbar.

Um die Gewichtungen anwenden zu können, ist es zunächst nötig, den Erfolg auf Indikatorebene zu berechnen, der je nach Art der Verrechnung mit den anderen Indikatoren in die Erfolgsberechnung des Kriteriums eingeht. Die Maximalwerte jedes Indikators werden über die Codierung festgelegt und sind vom Beratungsunternehmen frei wählbar. Sie sind die Basis des Erfolges in jedem Indikator, der durch den zugehörigen Ist-Wert aus den Antworten der Rezipienten definiert wird.

Als Verrechnungsvariante werden in diesem Fall die Summen der Ist-Werte mit den Summen der Maximalwerte für alle Indikatoren eines Kriteriums ins Verhältnis gesetzt. Mit 100 % multipliziert ergibt sich der prozentuale Anteil am Maximalwert des Kriteriums, was an dieser Stelle als “Erfolgsbeitrag” bezeichnet wird. Die Besonderheit dieser Art der Verrechnung der Indikatoren je Kriterium ist, dass die Codierung gleichzeitig einer Gewichtung entspricht. Alternativ könnte beispielsweise der Erfolgsbeitrag für jeden Indikator berechnet und im Anschluss das arithmetische Mittel über alle Indikatoren des entsprechenden Kriteriums ermittelt werden. In diesem Fall müsste für eine Gewichtung der Indikatoren eine zusätzliche Gewichtungsebene eingeführt werden, die jedem Indikator ein Gewicht zuweist.

Für die mehrdimensionale, visuelle Auswertung des Projekterfolgs und den Vergleich der Dimensionsergebnisse bieten sich verschiedene Darstellungsformen an. Eine mögliche Darstellungsvariante bietet beispielsweise das Netzdiagramm, welches insbesondere den Erfolg in den einzelnen Dimensionen prägnant verdeutlicht.

Diese Abbildung soll nur ein Vorgeschmack auf weitere mögliche Darstellungsvarianten sein, die im letzten Teil der Blogreihe mit Blick auf die Berichts- und Dashboarderzeugung eingehend beleuchtet werden. Dort erfahren Sie, wie das hier präsentierte Modell in der Praxis über Odoo Umfragen operationalisiert und mit Daten gefüllt wird sowie wie diese Daten durch die Anbindung von Odoo an Power BI automatisiert in einen Bericht geladen und in Verknüpfung mit weiteren Power BI KPIs auf ein gemeinsames Dashboard zusammengebracht werden können.

Haben auch Sie Interesse, Ihre Projekte intern auszuwerten oder suchen Sie nach an einer Business Intelligence-Lösung? Kontaktieren Sie uns jetzt und wir stehen Ihnen als zuverlässiger Partner zur Seite!