Kolejną kwestią wartą rozważenia jest pytanie,co może być poddawane ewaluacji?

Ewaluacji mogą podlegać rozmaite obiekty, których kategoryzację zaproponował M. Scriven (słynne 6P):

1. Polityka (Policy)
2. Program
3. Produkt
4. Personel
5. Wykonanie (Performance)
6. Projekt

Z punktu widzenia rozważań o ewaluacji programów unijnych głównym obszarem badawczym jest projekt, który to należałoby ocenić poprzez pryzmat dwóch zasadniczych pytań:

• Czy cele i zakładane efekty projektu zostały osiągnięte? oraz
• Czy efektywnie wykorzystano zasoby projektu, w tym środki finansowe?

Metody ewaluacji

Sam proces prowadzenia oceny (ewaluacji) można podzielić na cztery etapy:

1. Strukturyzacji – planowanie projektu ewaluacji
2. Obserwacji – gromadzenie danych
3. Analizy
4. Oceniania – formułowanie twierdzeń wartościujących

Na każdym z tych etapów wykorzystuje się inne metody i narzędzie badawcze.

W praktyce badań ewaluacji wykorzystuje się najczęściej 4 techniki ewaluacji: analizę dokumentacji, ankietowanie, wywiady i obserwację. Każda z tych metod ma swoje zalety i wady. Oparcie się w badaniach na wybranych metodach generuje mniejsze lub większe koszty i wymaga mniejszych lub większych nakładów czasu.

1. Analiza dokumentów – badanie faktów (również mających miejsce w przeszłości), zbieranie informacji o kontekście formalnym badanego zdarzenia, poznanie założeń ewaluowanego przedsięwzięcia, jako etap wstępny badań – wspomagający przygotowanie badań terenowych.

Zalety:

• Różnorodność dokumentacji (dokumenty formalne, nieformalne, robocze, produkty działań)
• Dostępność (zazwyczaj gromadzone są w jednym miejscu)
• Łatwość analizy
• Dają podstawową orientację w mających miejsce działaniach i ich rezultatach

Wady:

• Ryzyko zbyt uproszczonej interpretacji danych i pochopnych uogólnień
• Rzeczywistość może odbiegać od danych zamieszczonych w dokumentacji

2. Kwestionariusz – badanie opinii, badanie faktów (z perspektywy uczestnika).

Zalety:

• Badaniem można objąć dużą grupę osób
• Wiedza o rozkładzie częstości/rozkładzie procentowym cech, własności, opinii
• Swoboda wypowiedzi, brak sugestii ze strony innych
• Anonimowość
• Łatwość realizacji i analizy danych przy dużej liczbie uczestników

Wady:

• Znudzenie respondentów tą metodą, niechęć do formułowania wypowiedzi na piśmie
• Zdawkowość odpowiedzi
• Mała elastyczność – kwestie najważniejsze mogą umknąć, gdyż w ankiecie nie znalazło się pytanie je poruszające
• Eliminowanie faktów nietypowych (uśrednienie danych)

3. Wywiad – badanie opinii, badanie faktów (z perspektywy uczestnika).

Zalety:

• Możliwość poruszenia skomplikowanych i szczegółowych kwestii
• Poznanie faktów z osadzeniem ich w kontekście sytuacyjnym
• Spojrzenie na rzeczywistość z perspektywy uczestników
• Poznanie znaczeń i interpretacji samych zainteresowanych

Wady:

• Czasochłonność realizacji i analiz
• Możliwość przebadania niewielu respondentów
• Skomplikowana analiza
• Niechęć uczestnika do wyrażania swoich zwłaszcza krytycznych, opinii wprost
• Wysokie koszty realizacji badań

4. Obserwacja – poznanie zdarzeń/zachowań w ich „naturalnym przebiegu”, poznanie interakcji, poznanie kontekstu społecznego.

Zalety:

• Bada zachowania rzeczywiste i nie deklarowane
• Dostarcza informacji o procesie w trakcie jego przebiegu a nie retrospekcji
• Ułatwia interpretację badanych zdarzeń/zachowań

 Wady:

• Ograniczony zasięg obserwacji wynikający z zajmowanej pozycji
• Niebezpieczeństwo przyswojenia sobie funkcjonujących w środowisku stereotypów
• Niebezpieczeństwo postrzegania i interpretowania faktów z korzyścią dla grupy (lub przeciwnie)
• Niebezpieczeństwo wpływu na przebieg zdarzeń i zachowania obserwowanych.

Kwestie ważne w fazie planowania ewaluacji, które należy uwzględnić, aby badanie ewaluacyjne został rzetelnie przeprowadzone:

Przedmiot ewaluacji: Co ewaluujesz? Co konkretnie powinno być zbadane?

Cel ewaluacji: Po co ewaluujesz?

Adresaci ewaluacji: Dla kogo ewaluujesz? Komu będą prezentowane /udostępniane wyniki?

Harmonogram ewaluacji: Kiedy ewaluujesz?

Wykonawcy ewaluacji: Przez kogo będzie przeprowadzana ewaluacja?

Cena ewaluacji: Jakie zasoby finansowe mogę wykorzystać?

Wyniki ewaluacji: Jaką formę będzie miał raport ewaluacyjny?.

Na te pytania powinien odpowiedzieć sobie projektodawca już na etapie planowania projektu, tak aby proces ewaluacji czy to wewnętrznej, czy zewnętrznej został odpowiednio ujęty w harmonogramie projektu i jego budżecie.

Warto mieć na uwadze, że ewaluacja jako końcowy etap cyklu życia projektu, z punktu widzenia sponsora, który to przedsięwzięcie ma współfinansować, powinna zostać tak zaprojektowana, aby po zakończeniu projektu można było odpowiedzieć sponsorowi na dwa zasadnicze pytania:
Czy warto było wydawać pieniądze na te problemy, które miał rozwiązać projekt? oraz

Czy warto było dać pieniądze właśnie temu projektodawcy, na realizację projektu? (czy wywiązał się on ze wszystkich obietnic jakie złożył w projekcie sponsorowi)?

Jeśli po zakończeniu projektu i jego ewaluacji odpowiedź na oba pytania będzie pozytywna to dla sponsora może oznaczać, że warto nadal kontynuować współfinansowanie tego typu przedsięwzięć, rozwiązywać podobne problemy i współpracować nadal z tymi samymi projektodawcami.

Pobierz szóstą część podręcznika w wersji pdf:

EWALUACJA – Przedmiot i metody badawcze

Zobacz pozostałe wpisy w tej kategorii: Podręcznik Ewaluacji

Treść chroniona prawem autorskim.

Post EWALUACJA – Przedmiot i metody badawcze pojawił się poraz pierwszy w PrePost Consulting.