Im letzten Informationsblatt zur Zielerreichung überprüfen wurde erläutert, dass für jedes Wirkungsziel Indikatoren zur Zielerreichung gesetzt werden müssen. Indikatoren sind messbare Eigenschaften zur Feststellung, ob ein bestimmter Sachverhalt oder ein bestimmtes Ergebnis eingetreten sind bzw. bestimmte Einstellungen oder Verhaltensweisen bei der Zielgruppe erreicht wurden.

In diesem Informationsblatt geht es um die Erhebung und Analyse von Daten zu Indikatoren. Für Organisationen mit wenigen Ressourcen klingt es nahezu unmöglich, systematisch Daten zu erheben und zu analysieren. Oft wird dabei übersehen, dass evtl. bereits Informationen (z. B. Beratungsdokumentation) vorliegen und diese verwendet werden können. Schließlich haben Sie die Expertise für Ihr eigenes Projekt, um die Veränderungen bei der Zielgruppe festzustellen, wozu wir die Daten benötigen. Sowohl die Statistik, als auch Ihre Beobachtungen – all diese Informationen können in die (Wirkungs-)Analyse einfließen. Falls Daten neu erhoben werden sollten, ist es jedoch sinnvoll, im Vorfeld zu klären, welche Ressourcen dafür zur Verfügung stehen. Das können Sie am besten in Stunden ausrechnen, die Sie für die Vorbereitung und Durchführung der Datenerhebung sowie die Auswertung benötigen. Je nach verwendeter Methode muss die Datenerhebung auch wiederholt werden. Auch dies ist bei vorangehenden Planung zu berücksichtigen. So erlangen Sie schon einen Eindruck, ob der zeitlich nötige Aufwand im Verhältnis zu den vorhandenen personellen Ressourcen steht. Was die Arbeitsorganisation betrifft, so empfehlen wir feste Zeiten dafür einzuplanen (z. B. „freitags 13-14 Uhr“ oder einmal im Quartal an bestimmten Tagen), damit nicht erst kurz vor Projektende die Daten zusammengestellt und analysiert werden müssen. Schließlich soll die Wirkungsorientierung auch zur Projektsteuerung während der Laufzeit dienen.

Nun haben Sie die Ressourcen geklärt. Sie wissen auch, was Sie wissen wollen. Das müssten nämlich die Indikatoren zur Überprüfung der Zielerreichung sein. Jetzt geht es weiter mit folgenden Fragen:

1) Wer kann am besten Ihre Fragen beantworten?

Ob Nutzer:innen, ihre Angehörigen, Mitarbeitende oder die Kursleitung als Honorarkraft, jede:r hat eine eigene Sichtweise auf das Projekt. Um ein möglichst komplettes Bild zu erhalten, ist es sinnvoll, unterschiedliche Perspektiven einzubeziehen. Wer kommt für Ihr Projekt für eine Befragung in Frage? Und wer kann davon tatsächlich befragt werden?

2) Wie können Sie sich das benötigte Wissen erschließen?

Dafür gibt es quantitative und qualitative Verfahren. Die Statistik von Beratungskontakten und Teilnehmenden der Kurse/Veranstaltungen oder die Analyse der Webseiten-/Facebookauftritte können für quantitative Datenerfassung genutzt werden und sind in der Regel „ohnehin“ vorhanden. Diese sind auf alle Fälle wichtig, um die „Outputs“ festzuhalten. Die reinen Zahlen können aber auch dazu dienen, Veränderungen im Sinne von Wirkung zu identifizieren. Wenn der Kreis der Teilnehmenden konstant bleibt, ist das ein Zeichen der Zufriedenheit. Wenn die Teilnehmenden eines mehrteiligen Kurses ohne Abbruch bis zum Ende geblieben sind, können Sie davon ausgehen, dass das vermittelte Wissen oder auch die Haltung/Einstellung bei der Zielgruppe angekommen ist, um nur einige Beispiele zu nennen. Veränderungen der Zahlen können auch je nach Kontext auf den gestiegenen/gesunkenen Bedarf oder den Erfolg der Öffentlichkeitsarbeit hindeuten.

Neben den „Mengen“ gibt es Daten, die sich nicht in Zahlen ausdrücken, sondern einen Sachverhalt oder eine Situation mit „WIE“ und „WARUM“ beschreiben. Für eine wirkungsorientierte Projektarbeit sind diese qualitativen Daten wichtig, um die Zusammenhänge zwischen den Problemen (Ursachen), Ihrer Intervention (Lösung) und den Wirkungen besser zu verstehen. Beispiel: Sie bieten Workshops für arbeitslose Frauen zur Stärkung ihrer beruflichen Kompetenzen an. Wo die Teilnehmerinnen am Anfang der Qualifizierung stehen, was sie erwarten und benötigen und was die Workshops ihnen am Ende gebracht haben, erfahren Sie am besten in Form von Interviews (Einzel- oder Gruppeninterviews) und Beobachtungen.

Es ist zu empfehlen, beide Formen von Datenerhebung zu kombinieren. Sie können im Fragebogen auch offene Angaben erlauben oder zusätzlich mit einer bestimmten Gruppe von Befragten ein Interview durchführen. Umgekehrt können Sie die Erkenntnisse aus einem Gruppeninterview mittels groß angelegter schriftlicher Befragung ergänzen, um zu erfahren, wie viele Menschen die Meinungen der befragten Gruppe vertreten.

3) Welche Methoden sind für Ihren Projektalltag geeignet?

Es gibt zahlreiche Methoden der Datenerhebung, die in der Literatur (s. u.) gut nachzulesen sind, wie z. B. Fragebögen, Einzel-/Gruppeninterviews, Fokusgruppen (Gruppendiskussionen), systematische Beobachtungen usw. Wichtig ist bei der Auswahl der Methoden immer die Frage, wozu Sie die Daten benötigen und wie viele Ressourcen Sie dafür zur Verfügung haben. Für ein Beratungsprojekt bietet sich eine tabellarische Dokumentation, die ggf. in der Cloud von mehreren Mitarbeitenden gleichzeitig ausgefüllt werden kann. Vorteil einer solchen Tabelle, im Gegensatz zu „Strichlisten“ ist immer, dass die Anzahl sofort berechnet und bestimmte Merkmale gefiltert und gezählt werden kann. Hier ein Beispiel dazu:

Für Fragebögen gibt es mittlerweile gute Online-Tools, die für die Veranstaltungsevaluation, aber auch für Nutzer:innenbefragungen verwendet werden können. Die meisten Tools bieten in der kostenlosen Version schon eine einfache Auswertung, ohne dass man Expert:in in Statistik sein muss. In der kostenpflichtigen Version (monatlich kündbar) haben Sie in der Regel die Möglichkeit, eine größere Anzahl von Personen zu befragen. Hier lohnt es sich, genau zu vergleichen, welche Funktionen Sie letztlich brauchen. Im nächsten Infoblatt stellen wir Ihnen einige Online-Tools für Ihre Datenerhebung und –analyse vor.