Gemeinsam smarter: Erfolgreiche Strategien zur Wirkungsmessung in urbanen Projekten

Mit meinem Einstieg am Fraunhofer-Institut für Arbeitswirtschaft und Organisation IAO Mitte letzten Jahres 2024 wurde mir in meiner Einarbeitung in die Logik der Modellprojekte Smart Cities schnell klar, dass es nicht nur um Ideen geht, sondern auch um konkrete Wirkungen – und deren fundierte Erfassung über passende Indikatoren.

Die Bedeutung von Wirkungsanalysen steigt mit der Laufzeit des Programms, und ich habe erkannt, dass es einen übergreifenden Lernprozess gibt, der auch die MPSC selbst betrifft. Diese lernen zunehmend, dass die Erhebung von Daten nicht nur für den Projektgeber von Bedeutung ist, sondern auch für die eigene strategische Planung und die Verbesserung der Lebensqualität in ihren Städten. Bürgerschaft, politische Entscheidungstragende sowie Investoren und Fördergebende fordern zunehmend mehr Transparenz in der Stadtentwicklung. Um den Wert solcher Initiativen sichtbar zu machen, ist es daher entscheidend, die aus bereits umgesetzten Projekten gewonnenen Daten und Erkenntnisse gezielt zu nutzen. Diese Informationen bilden nicht nur eine fundierte Basis für politische Maßnahmen, sondern tragen dann auch zur Optimierung von Förderanträgen bei und erleichtern so die erfolgreiche Umsetzung zukunftsweisender Projekte.

In den vergangenen Monaten hatte ich die Gelegenheit, verschiedene Projekte näher kennenzulernen und die vielfältigen Ansätze zur Wirkungsmessung in Smart-City-Projekten zu erkunden. Besonders beeindruckend fand ich, wie unterschiedliche Städte innovative Methoden anwenden, um ihre Fortschritte transparent zu machen und das Vertrauen der Bürgerschaft zu stärken. Die Diskussionen und Erfahrungen aus Workshops, Experteninterviews und Fachvorträgen haben mir verdeutlicht, dass es nicht nur um Zahlen und Statistiken geht, sondern auch um das Verständnis der Bedürfnisse der Menschen, die von diesen Maßnahmen betroffen sind. Dabei kann man wahnsinnig viel von anderen Modellprojekten lernen.

Kein bürokratisches Muss, sondern echte Vorteile

In einer Studie des Bundesinstituts für Bau-, Stadt- und Raumforschung im Bundesamt für Bauwesen und Raumordnung (BBSR) zur Evaluation räumlicher Wirkungen von Smart-City-Maßnahmen wird der Mehrwert einer frühzeitig angesetzten Wirkungsmessung deutlich. Die Autorinnen und Autoren argumentieren, dass das Messen von Wirkungen entscheidend ist, um den Erfolg von Maßnahmen zu bewerten und basierend auf den gewonnenen Erkenntnissen zielgerichtet weiterzuentwickeln. Durch eine systematische Analyse der Wirkungen können Städte auch transparent gegenüber der Bürgerschaft und Stakeholdern kommunizieren. Dies fördert das Vertrauen in öffentliche Investitionen und führt zu Handlungssicherheit. Konkrete Mehrwerte der Wirkungsmessung umfassen:

Weiterentwicklung und Optimierung: Eine frühzeitige Identifikation von Stärken und Schwächen während der Maßnahmenumsetzung ermöglicht gezielte Anpassungen und eine Verbesserung der Maßnahmen.
Transparenz und Vertrauen: Durch die Kommunikation der Ergebnisse wird das Vertrauen von Bürgerinnen und Bürgern in öffentliche Investitionen gestärkt und die Akzeptanz erhöht.
Evidenzbasierte Entscheidungen: Die gewonnenen Daten zu Wirkungen unterstützen Kommunen bei der Entwicklung und Umsetzung stadtentwicklungspolitischer Ziele.
Langfristige Verankerung: Eine kontinuierliche Wirkungsmessung ermöglicht es, Maßnahmen nachhaltig zu evaluieren und anzupassen, um langfristige positive Effekte für die Stadtentwicklung zu sichern.

Diese Aspekte verdeutlichen, dass eine systematische Wirkungsmessung nicht nur ein bürokratisches Muss, zum Beispiel gegenüber dem Bund als Projektgeber ist, sondern auch ein entscheidender Faktor für den Erfolg von Smart-City-Projekten.

Das Rad nicht neu erfinden und voneinander lernen

Trotz der Komplexität, die oft mit Wirkungsmessung verbunden zu sein scheint, muss sie nicht überwältigend sein. Klare Ziele und Zielgruppen von Maßnahmen helfen, effektive Wirkungsanalysen zu betreiben. Es gibt zudem Handreichungen und Hilfestellungen. In der Arbeitsgruppe „Wirkungsmessung und Monitoring“ der Koordinierungs- und Transferstelle Modellprojekte Smart Cities (KTS) möchten wir zum Beispiel in einem praxisorientierten Austausch mit den beteiligten MPSC herausfinden, welche konkreten Vorgehensweisen zur Messung der Effekte von Maßnahmen angewendet werden können.

Dies geschieht in einer „Bottom-up“-Herangehensweise, mit der wir auch eine Arbeitshilfe mit Praxisbeispielen aus dem Smart-City-Kosmos bereitstellen. Die Beispiele beinhalten Beschreibungen konkreter Maßnahmen einzelner MPSC, die durch leitfadengestützte Interviews aufbereitet sind. Die Maßnahmen befinden sich dabei in unterschiedlichen Stadien der Umsetzung. So kann durch die vorhandene Expertise der Modellprojekte Smart Cities ein großer Mehrwert auch für andere Kommunen geschaffen werden. Denn durch das „Voneinander Lernen“ können sie erfolgreiche Methoden übernehmen oder Fehler vermeiden.

In der Vorgehensweise der Evaluation hat sich als hilfreich erwiesen, die sogenannte I-O-O-I-Methode anzuwenden, die Input, Output, Outcome und Impact berücksichtigt. Aber auch andere Methoden können angewendet werden. Anhand von drei Beispielen aus den MPSC lässt sich dies nachfolgend verdeutlichen.

1. Verbesserung von Verwaltungsprozessen durch ein Mikroklimamodell

Sensor an einem Laternenmast — Klimamessstation Kampagne: „Schau mal nach oben“ in Mannheim Smart City Mannheim

Für das gesamte Mannheimer Stadtgebiet wird ein Mikroklimamodell entwickelt, um kleinräumig Auswirkungen des Klimawandels zu erkennen. Dabei führt die Stadt mittels der umfassenden Auslage von Umwelt- und Wettersensoren im Stadtgebiet eine kontinuierliche Erhebung und Analyse von Umweltdaten durch, die eine fundierte Grundlage für klimaneutrale Stadtplanung schaffen. Auswirkungen von städtebaulichen Maßnahmen und Planungen auf das Mikroklima können so durch das Modell simuliert werden. Die Evaluation erfolgt regelmäßig unter Verwendung der I-O-O-I-Methode.

Auf der Output-Ebene werden quantitative Indikatoren wie die Anzahl der installierten Klimasensoren, deren Datenqualität und die Integration dieser Daten in urbane Datenplattformen erfasst. Die Daten aus dem Klimamessnetz werden durch das Smart-City-Team Mannheim in ein Datendashboard gespielt und in Warnsysteme sowie Simulationstools gespeist. Durch Visualisierungen wird das kleinräumliche Stadtklima auf 5x5-Meter-Raster dargestellt, was die Interpretation der Klimadaten für die Stadtverwaltung und die Bürgerschaft erleichtert. Das Bild wird durch Nutzungs- und Zufriedenheitsabfragen komplettiert.

Der Outcome zeigt sich auf drei Evaluationsebenen: Auf Verwaltungsebene werden in erster Instanz Wissensindikatoren mit der Fragestellung gesammelt: Wie verändern sich das Wissen und die Einstellung in der Stadtverwaltung durch die umgesetzte Maßnahme? In zweiter Instanz wird das veränderte Handeln untersucht, indem zum Beispiel neue Arbeitsprozesse entwickelt werden. In dritter Instanz wird das Ergebnis gemessen, also zum Beispiel die Reduktion von Kosten und Zeit bei der Erstellung städtischer, stadtklimabezogener Leistungen beziehungsweise eine gestiegene Qualität aufgrund der verbesserten Datengrundlage. Dieselben Ebenen lassen sich auf die Bürgerschaft übertragen – verbessertes Wissen, Umsetzung ins Handeln, Verbesserung der Gesundheit und Zufriedenheit.

Auf der Impact-Ebene sind bisher keine messbaren Wirkungen erkennbar, da diese Ebene auf langfristige gesamtstädtische Wirkungen abzielt und die Maßnahme noch in der Umsetzung ist. Dennoch lassen sich potenzielle Effekte identifizieren. Durch die Maßnahme wird eine reduzierte Belastung der sozialen Infrastruktur sowie eine Verringerung extremwetterbedingter Schäden angestrebt. Zudem wird ein niedrigeres innerstädtisches Temperaturmittel und -maximum in den Sommermonaten und eine verbesserte Aufenthaltsqualität erwartet.

2. Erfolgreiche Verstetigung durch Key Performance Indicators (KPIs) – SmartesDORFSHUTTLE

Ein erfolgreiches Beispiel ist die Maßnahme „SmartesDORFSHUTTLE“ im Amt Süderbrarup. Das hier entstandene Angebot umfasst einen bedarfsgesteuerten Shuttle-Service für die ländliche Region. Ziel ist es, die Verkehrsanbindung zu verbessern und die Erreichbarkeit von wichtigen Einrichtungen und Orten zu erhöhen. Die Nutzenden können über eine App zu gewünschten Zeiten Fahrten buchen, wodurch das Shuttle flexibel und effizient eingesetzt wird. Die Fahrzeuge sind im gesamten Amtsgebiet unterwegs und bedienen sowohl analoge als auch virtuelle Haltestellenpunkte.

Jede Bürgerin und jeder Bürger aus dem Amt Süderbrarup soll jeden Ort ohne eigenes Auto erreichen können.
Amt Süderbrarup

Zu den wichtigsten quantitativen KPIs zählen die Anzahl der Fahrtanfragen durch die Nutzenden und die Anzahl der digitalen und analogen Haltestellenpunkte. Während der Testphase von Dezember 2021 bis März 2023 hat das Amt Süderbrarup die Auswertung und Aufbereitung der Daten überwiegend über ein Dashboard durchgeführt. Dort wurden Buchungsdaten aus einer App eingespeist, mit denen die Nutzenden das „SmarteDORFSHUTTLE“ buchen konnten.

Besonders interessant war hier aber auch der Einsatz qualitativer Daten: Um die Akzeptanz des Angebots zu messen, sammelte das Amt Süderbrarup Rückmeldungen von Nutzenden über eine Hotline und maß die Nutzerzufriedenheit über eine Bewertung in der App. Diese Eindrücke halfen, die Dienstleistungen anzupassen und die Nutzererfahrung zu verbessern. Die kontinuierliche Evaluation zeigte, dass die Bürgerinnen und Bürger das Angebot schnell angenommen haben, was den Bedarf für flexible Mobilitätslösungen verdeutlichte. Die Lerneffekte führten zu einer Verstetigung im Anschluss mit der Übernahme durch den Nahverkehrsverbund Schleswig-Holstein, NAH.SH.

3. Gemeinsam in die digitale Zukunft: un:box cologne

Screenshot einer Webseite — Anwendung Locale.Games in Köln Smart City Cologne

Das Projekt „un:box cologne” ist ein Beteiligungsformat im Rahmen der Smart-City-Cologne-Strategie, das Kölner Bürgerinnen und Bürger, Unternehmen und Initiativen einlädt, digitale Ideen zu entwickeln und zu teilen. Das Projekt versucht, das bürgerschaftliche Engagement sowie die digitale Teilhabe in Köln zu fördern unter anderem über Einzelprojekte, wie „Locale.Games“.

Hier wird eine App entwickelt, die darauf abzielt, die Nutzung öffentlicher Tischtennisplatten zu erhöhen und die Interaktion zwischen den Nutzenden zu fördern. Um die Wirkungen zu analysieren, werden spezifische KPIs entwickelt. Die KPIs für dieses Projekt umfassen den „Fortschritt der interaktiven Kartenfunktionalität“, die „Implementierung von Community-Funktionalitäten zur Verarbeitung von Feedback“ und die „Implementierung von Community-Funktionalitäten zur Vernetzung der Nutzenden“. Die Stadt überprüft monatlich die Messwerte gemeinsam mit den Ideengebenden aus der Bürgerschaft. Damit bezieht Köln die engagierte Bürgerschaft aktiv in die Wirkungsmessung mit ein und versorgt sie dazu auch noch mit dem benötigten Fachwissen.

Um das Projekt und seine Maßnahmen steuern und evaluieren zu können, führte die Stadt Köln den OKR-Ansatz (Objectives and Key Results) ein. Dieser Ansatz ermöglicht es der Stadt, klare Ziele zu definieren und den Fortschritt bei der Umsetzung von Digitalisierungsprojekten kontinuierlich zu überwachen und anzupassen. Der Prozess beginnt mit der Festlegung von qualitativen Zielen, sogenannten „Objectives“. Diesen werden Ergebnisse zugeordnet, die quantitativen Zielen oder sogenannte „Key Results“. Letztere konkretisieren zeitlich und inhaltlich das jeweilige Ergebnisziel. Im dreimonatigen Rhythmus werden die Organisationsstrukturen und Aufgabenprozesse dann geprüft und weiterentwickelt.

Letztlich ermöglicht die OKR-Methode folglich sowohl eine strukturierte Zielverwirklichung als auch eine kontinuierliche Überprüfung, welche die Gesamtprojektsteuerung ebenso wie die Evaluation des Gesamtprojekts und der Einzelmaßnahmen umfasst.

Diese drei Beispiele zeigen, wie man auf unterschiedliche Weise an die Wirkungsmessung von Smart-City-Maßnahmen herangehen kann.

Durch eine fundierte Wirkungsanalyse kann nicht nur die Effizienz einzelner Maßnahmen gesteigert werden, sondern auch die Lebensqualität innerhalb der Bürgerschaft sowie eine Prozessverbesserung in der Verwaltung. Allen drei Methoden zur Wirkungsmessung ist dabei der Ansatz gemein, sowohl qualitative als auch quantitative Daten systematisch zu erfassen und auszuwerten. So führt die konsequente Anwendung von Monitoring- und Evaluationsmethoden – wie zum Beispiel die I-O-O-I-Methode oder OKR – letztlich nicht nur zu einer fundierteren Entscheidungsbasis, sondern fördert auch das Vertrauen der Bürgerschaft in die Stadtverwaltung.

Namentlich gekennzeichnete Beiträge geben die Meinung der Autorin oder des Autors wieder.

Leselinks und Literaturhinweise

Räumliche Wirkungen von Smart-City-Maßnahmen

Ansätze und Methoden zu deren Messung

Erscheinungsjahr 2024

Die Praxishilfe beinhaltet ein Vorgehen, das Kommunen dabei unterstützt, die Auswirkungen ihrer Maßnahmen auf den jeweiligen Raum als Wirkungsumgebung zu bewerten und geeignete Indikatoren zur Wirkungsmessung im Rahmen einer digital gestützten Stadt- oder Regionalentwicklung festzulegen.

Herunterladen PDF (2.78 MB)

Weitere Informationen zum Thema Klima in der Smart City Mannheim: https://smartmannheim.de/unsere-themen/

Weitere Informationen zum Projekt un:box cologne in Köln: https://meinungfuer.koeln/un:box_cologne

Weitere Informationen zum „Smarten DorfSHUTTLE“ im Amt Süderbrarup: https://smartcityamtsuederbrarup.de/portfolio/rufbus-fuer-das-amt-suederbrarup/

Arbeitsgruppe „Monitoring und Wirkungsmessung“

Zurück zu allen Blogbeiträgen