Kurz und knapp: Ja! Entscheiden dabei ist die Frage: Wie? Welche Strukturen, Haltungen und Beziehungen müssen dafür aufgebaut werden – intern wie extern?

Das #VMW-Frühstück näherte sich dem Thema „Systems Change und Wirkung“ aus drei Perspektiven: Marcus Jenal, Strategic Learning & Evaluation Lead der Fondation Botnar, gab Einblicke, wie die Stiftung ihren Wirkansatz entwickelt hat, wo sie aktuell steht und wie sie ihre Ziele gemeinsam mit Förderpartner*innen verfolgt. Tim Altermatt, verantwortlich für Wissensspeicherung bei Catapult Basel, brachte die Sicht der geförderten Organisation ein. Er schilderte, was Wirkungsmessung für die junge Organisation bedeutet und wie er und sein Team ihren Ansatz in der Praxis entwickelten. Karenina Schröder, Senior Expert Impact bei Wider Sense, verortete das Thema Wirkung und beschrieb einsteigend die drei zentralen Hebel, die Wirkung in der Stiftungspraxis erfolgreich machen: Wollen, Können, Müssen.

Wirkung kann mehr! – die drei Gelingensbedingungen

Wirkung ist die „license to operate“ zivilgesellschaftlicher Arbeit – doch oft stehen Ziele, Aufwand und Resultate der Wirkungsmessung weder für Stiftung noch die Förderpartner in einem angemessenen Verhältnis. Viele Ansätze haben sich als zu mechanistisch, zu bürokratisch und nicht dynamisch genug erwiesen: In guter Absicht werden mit hohem Aufwand (zu) viele Daten erhoben, die im Alltag weder von Förderpartnern noch von der Stiftung genutzt werden, um die eigene Arbeit zu reflektieren und bessere Entscheidungen für die Förderstrategie zu treffen. Dabei ist genau das Ziel und Zweck von Wirkungsmessung, gerade, wenn eine Stiftung sich als Akteurin in einem komplexen System versteht. Karenina Schröder fokussiert in ihrem Leitfaden „Wirkung kann mehr“ auf diejenigen, die „Wirkung“ umsetzen: Die Menschen in den Organisationen. Sie sind zentrale Voraussetzung für den Erfolg – Karenina Schröder hat von der Frage ausgehend, welche Voraussetzungen Organisationen für eine erfolgreiche Wirkungsmessung schaffen müssen, drei Dimensionen entwickelt:

• Wollen – eine motivierende Kultur: Wirkung muss täglich Thema sein, Ziele klar formuliert werden.  Gerade bei einem systemischen Ansatz sind diese aber oft zu schwammig formuliert – liegen sie doch in (zu) weiter Ferne und sind komplex. Doch auch hier gilt: Die gelebte Kultur einer Organisation muss explizit gemacht werden, und die verantwortlichen Personen müssen klären, was, wo und wie verändert werden soll.
• Können – ein effizientes Management: Wirkungsmessung wird von Förderpartnern wie auch Stiftungsmitarbeitenden häufig als Belastung empfunden – keine Zeit, keine Energie. Wichtig ist, sich zu fragen: Welche Daten brauchen wir wirklich, um bessere Entscheidungen zu treffen? Nur diese sollten erhoben werden. Alles andere produziert „Datenfriedhöfe“. Außerdem muss Verantwortungsdiffusion vermieden werden: Es brauche Klarheit, wer was erhebt und nutzt.
• Müssen – kritisches Feedback: Zentral ist Zielgruppen-Feedback. Karenina Schröder verweist darauf, dass Zielgruppen-Feedback „immer weniger stattfindet als gedacht oder gewollt“. Dabei gibt es gute Beispiele – etwa CIVICUS mit Musterauswertung und Storytelling. Wirkungsmessung heißt auch: Den Ist-Zustand ehrlich zu analysieren und die Erfolge geförderter Organisationen zu feiern.

Wirkungsmessung: Die geförderte Organisation

Eindrücklich berichtete Tim Altermatt von Catapult Basel von der Lernreise seiner Organisation:  Als von jungen Menschen aufgebaute Förderplattform (finanziert von Fondation Botnar und der Stiftung Mercator Schweiz) unterstützt Catapult Bedürfnisse und Ideen junger Menschen in Basel. Anfänglich hatte sich das Team von Catapult eher experimentell mit dem Thema Wirkmessung auseinandergesetzt. Im Laufe der Zeit ist das Team zu einem systematischeren Umgang mit Wirkung übergegangen: Grundlage waren Handbücher (z. B. von PHINEO) und ein von der Fondation Botnar finanzierter externer Consultant, der das Team praxisnah begleitet hat. Der Prozess habe mehrere Jahre gedauert, viel Ausprobieren erfordert und sei nicht immer leicht gewesen. Wichtig sei gewesen, das Team mitzunehmen, um die Wirkungsmessung nicht als „drüber schwebend“ wahrzunehmen.

Rückblickend beschrieb Tim Altermatt die größte Herausforderung so: „Es ist immer eine gewisse Lücke zwischen den theoretischen Begriffen und dem praktischen Effekt. Das zu verknüpfen war die größte Herausforderung.“ Oft habe man sich hinter Worthülsen wie „Partizipation“ oder „Transparenz“ versteckt, doch die Reibungen im Team hätten geholfen, die Sprache zu präzisieren. Aber gerade am Anfang habe man dann „irgendetwas“ abgefragt – so wie es üblich sei. Doch das habe niemandem Spaß gemacht und wurde auch nicht genutzt. Mithilfe von Wirkungslogiken gibt es heute stattdessen kurze Gespräche nach Projektende (10–15 Minuten), die Wertschätzung vermittelten, echtes Nachfragen erlaubten und von den jugendlichen Projektpartner*innen geschätzt würden. Das sei weit sinnvoller als Berichte oder Fragebögen. Wirkungsmessung sei so nicht mehr extraktiv, sondern stärke stattdessen die Zielgruppe, die aus diesem Vorgehen selbst lernt. Die Ergebnisse der Evaluationen werden im Team diskutiert; auch eine erste Evaluation ist abgeschlossen, aber Wirkung bleibt ein laufender Prozess: „Man kann selten einen Punkt setzen, an dem man fertig ist.“ Tim Altermatt

Systemisches Wirken aus Stiftungsperspektive

Fondation Botnar ist Förderpartnerin von Catapult Basel und will in ihrer eigenen Arbeit systemisches Wirken und Wirkungsmessung zusammenbringen. Marcus Jenal, Strategic Learning & Evaluation Lead, präzisiert einsteigend, dass Fondation Botnar in ihrer Arbeit nicht von Systemveränderung spreche, sondern von systemischem Wirken. Ziel sei es, Rahmenbedingungen zu verändern, die das Leben junger Menschen prägen – etwa in Städten. Catapult als Förderplattform ermögliche Jugendlichen, an diesen Rahmenbedingungen mitzuwirken. Der Anspruch sei nicht, „das ganze System“ zu verändern, sondern einzelne Bedingungen spürbar zu verbessern.

Als größte Herausforderungen sieht Marcus Jenal die Frage „Wie nimmst du das Team mit?“. Human Centered Design sei dabei entscheidend gewesen sei: Das Wirkmanagement wurde von Anfang an gemeinsam mit Partnern aufgebaut, es wurde gefragt, welche Daten wirklich gebraucht werden und diese mit Entscheidungen zu verknüpfen sind. Für die Auswertung der Wirkdaten hat er sogenannte „Outcome Baskets“- entwickelt – Sammlungen kontextspezifischer Indikatoren, die in abstrakte Themenbereiche gebündelt wurden. Und zwar in einem ersten Schritt ganz pragmatisch über Miroboards, um die eigene Wirkung zu visualisieren und dabei die Relevanz der verschiedenen Outcomes einschätzen zu können.

Marcus Jenal betont, dass die Stiftung noch viel lerne – auch gemeinsam mit Partnern wie Catapult Basel. Man habe beispielsweise einen gemeinsamen Reflexionstag bei Fondation Botnar durchgeführt, um die Arbeit und die Zusammenarbeit zu beleuchten. „Das ist sehr aufwändig, aber ein wichtiger Test-Case“, erklärte er. Im Moment überlege man, neue Berichtsformate einzuführen, die für die Partner einfacher auszufüllen seien. Statt detaillierter Indikatoren solle es künftig stärker um offene Fragen gehen: „Was hat sich verändert, warum, und wie stellt ihr das fest?“

Da die Grants Manager*innen sehr nah an den Partnerorganisationen dran sind, sammeln sie viel Wissen im direkten Austausch, auch auf informellem Weg. „Da schauen wir, wie diese Daten systematisch erfasst und genutzt werden können.“ Insgesamt sei die Stiftung mit einem Wirkungsteam von drei Personen, ergänzt um externe Berater*innen, gut aufgestellt. Gleichzeitig müsse man überlegen, wie die Förderpartner*innen in Monitoring, Evaluation und Learning (MEL) unterstützt werden könnten – etwa durch Learning Partner, Weiterbildungsangebote oder feste Budgetanteile, die dafür reserviert sind.

Wichtig ist hierbei für Fondation Botnar die Wahl ihrer Partner: „Wir haben nicht die Kapazität, um Jugendgruppen direkt zu fördern, das machen dann zum Beispiel Organisationen wie Catapult“, so Marcus Jenal. Diese Intermediäre sollten die nötigen Kapazitäten bereits mitbringen; wenn nicht, wird ihnen ein Learning Partner zur Seite gestellt. Grundprinzip ist: „Die Wirkungsmessung soll für die Partner sein und nicht für uns. Wenn sie das erheben, was für sie wichtig ist, reicht das auch für Fondation Botnar.“  Aber klar ist auch: Wirkungsorientierung benötigt Ressourcen.

Was heißt es, Systems Change zu messen?

Was bedeutet es also für eine Stiftung, systemischen Wandel zu messen? Karenina Schröder betonte in der abschließenden Diskussion, dass es entlastend sein könne, nicht Anspruch zu haben „das System zu verändern, sondern erstmal systemisch zu wirken – was sich auch in der eigenen Theory of Change mit klaren Outcome-Ziele verankern lässt. Und Marcus Jenal ergänzte, dass horizontales Lernen – etwa durch Vernetzung von Partner*innen – ein weiterer Schlüssel für das Verständnis der eigenen Wirkung sein kann.

Karenina Schröder fasste die Diskussion schließlich mit einem Appell zusammen: Wirkungsmessung beginne immer bei der Geschäftsleitung. Die Führung muss Wirkung messen wollen Voraussetzungen klar einschätzen und alle Beteiligten mitnehmen – und zwar so, dass alle Wirkung messen wollen, können – und müssen!