Krótka historia współczesnej ewaluacji

Tradycja badań ewaluacyjnych sięga początków XX wieku, kolebką badań ewaluacyjnych są Stany Zjednoczone.

Pierwsze próby udokumentowanej oceny wyników nauczania prowadził w USA Joseph M. Rice (1857-1934), lekarz z wykształcenia wykonujący zawód inspektora oświaty. W jego pionierskich poczynaniach interesowało go głównie podniesienie skuteczności nauczania. Jego praca i doświadczenia pozwalały po raz pierwszy porównywać poziom pracy szkół.

Pierwsze badania ewaluacyjne przeprowadzono w USA w latach 20-tych a teoria ewaluacji została po raz pierwszy zaproponowana w 1949 roku przez R. Tylera. Obecnie funkcjonujące pojęcia ewaluacji kształtującej (ang. formative evaluation) i sumującej (ang. summative evaluation) zostały wprowadzone przez Michaela Scrivena w 1967 roku w książce Metodologia ewaluacji (The Metodology of Evaluation). Właśnie w latach 60-tych nastąpił dynamiczny rozwój tej dyscypliny –głównie w USA i państwach zachodnioeuropejskich.

Ewaluacja stała się niezależną dyscypliną badań społecznych.

Podejmując próbę zgłębienia zagadnień związanych z tematyką monitoringu i ewaluacji już na wstępie okazało się, że nie istnieje jedna i uniwersalna definicja ewaluacji, a wiele stosowanych pojęć wokół tej problematyki jest niejednoznacznych i zależy od przyjmowanych założeń metodologicznych i koncepcji dociekań badawczych.

W bardzo ogólnym ujęciu można powiedzieć, że monitoring mówi nam „Co się dzieje”, a ewaluacja odpowiada na pytanie „Dlaczego tak się dzieje”.

W gospodarce opartej na wiedzy i informacji ranga i znaczenie ewaluacji znacznie wzrosło. Wyniki badań ewaluacyjnych wykorzystuje się do wprowadzania zmian w programowaniu rozwoju społeczno-gospodarczego, poprawy efektywności interwencji publicznych, a także skuteczności zarządzania organizacjami. Uczymy się nie tylko poprzez praktyczne działanie (learning from doing), ale także poprzez ewaluację (learning from evaluation).

Warto bliżej przyjrzeć się wybranym 23 definicjom, aby zrozumieć jak różnie w literaturze podchodzi się do tej problematyki.

23 Definicje ewaluacji

1. W Słowniku Języka Polskiego PWN znajdziemy następujące hasło: „ewaluacja – ustalenie wartości i ceny czegoś, ocenianie, oszacowanie”. Potocznie przyjęło się rozumieć ewaluację jako synonim oceniania i kontroli, czasem także jako wartościowanie i szacowanie wartości.
2. Ewaluacja to słowo pochodzące z języka francuskiego oznaczające oszacowanie lub określenie wartości, czasem również ocenę. Takie znaczenie ma też w literaturze anglojęzycznej. Pojęcie to również w Polsce nie jest niczym nowym, gdyż w 1929 roku słownik M. Arcta mówi o niej: „ocenianie, oszacowanie, określenie wartości”.
3. Ewaluacja – Osądź, oceń, zdecyduj, oszacuj, wyraź swoją opinię. Wyrażanie opinii na dany temat. Ocenianie sensowności pomysłów. Osądzanie wartości rozwiązania problemu.
4. Badanie własności obiektu.
5. Systematyczne badanie wartości lub zalet jakiegoś obiektu. (Joint Committee on Standards for Educational Programs, Projects and Materials).
6. Systematyczny proces obejmujący zbieranie informacji oraz zdawanie relacji (w postaci raportu) z tego, jak się rzeczy mają z intencją dostarczenia danych ułatwiających podejmowanie decyzji. (H. Simon).
7. Systematyczne zbieranie informacji z pewnego zakresu, którego celem jest dostarczenie przydatnej informacji zwrotnej.
8. Proces zbierania informacji i ich interpretacja w celu podejmowania decyzji; (zdyscyplinowana ocena). (H. Komorowska)
9. Proces diagnostyczno – oceniający, zawierający w sobie elementy pomiaru, osądu i decyzji. (J.J. Guilbert)
10. Ewaluacja jest procesem systematycznego gromadzenia informacji na temat działania, właściwości i rezultatów programów, personelu oraz produktów. (M.Q.Patton)
11. Zaplanowane i systematyczne działanie uwidaczniające, w jakim stopniu zostały osiągnięte cele.
12. Najprościej ewaluację można określić jako ustalanie wartości czegoś. Ewaluacja jest częścią procesu podejmowania decyzji. Obejmuje wydawanie opinii o wartości działania poprzez systematyczne, jawne zbieranie i analizowanie o nim informacji w odniesieniu do znanych celów, kryteriów i wartości. (Kath Aspiwall i in. „Co to jest ewaluacja? w red. H. Mizerek)
13. Proces zmierzający do stwierdzenia, w jakim stopniu zamierzone cele [edukacji] są rzeczywiście realizowane.
14. Ewaluacja to sztuka zadawanie pytań.
15. Systematyczne badanie zdarzeń, które mają miejsce w ramach realizowanego programu bądź stanowią jego konsekwencję.
16. Systematyczny i jawny proces zbierania informacji na temat istoty, charakteru i wartości interesujących (praktyka) zjawisk.
17. Ewaluacja ma służyć nie uzasadnieniu programu, lecz poprawie istniejącego stanu rzeczy. (C. Robin).
18. „Proces zmierzający do stwierdzenia, w jakim stopniu założone cele są rzeczywiście realizowane” (R. W. Tyler).
19. „Proces określania, uzyskiwania i dostarczania takich informacji, które pozwoliłyby na ocenę decyzyjnych alternatyw” (D. L. Stufflebeam).
20. „Wnikliwe badanie charakterystyki i zalet ewaluowanego programu. Celem ewaluacji jest dostarczenie informacji na temat efektywności badanego obiektu, tak by zoptymalizować jego wyniki, jakość i sprawność działania” (A. Fink).
21. “Systematyczne badanie wartości, zalet ewaluowanego programu” (Joint Committee on Standards for Educational Evaluation).
22. „Ewaluacja jest porównywaniem tego, co powinno być (kryteria, standardy, cele) z tym, co jest (dowody, dane, informacje) w celu przypisania oceny lub wartości do tego, co jest ewaluowane” (S.M. Steele).
23. „Jeżeli jakieś środki zostały zużyte aby dokonać zmian w życiu jednostek, grup lub wspólnot ludzkich to ewaluacja jest procesem pomiaru osiągniętego rezultatu i oceny skuteczności wykorzystania tych środków dla realizacji zamierzonych celów” („Sekrety ewaluacji”; materiały BORDO; dr Zbigniew Lasocik, Uniwersytet Warszawski).

Pod dalszą refleksję poddaję pytanie czy ta mnogość definicji ułatwia czy utrudnia zrozumienie pojęcia ewaluacji.

Pobierz piątą część podręcznika w wersji pdf:

Definicje ewaluacji

Zobacz pozostałe wpisy w tej kategorii: Podręcznik Ewaluacji

Treść chroniona prawem autorskim.

Post EWALUACJA – PODSTAWOWE DEFINICJE pojawił się poraz pierwszy w PrePost Consulting.

Pobierz czwartą część podręcznika w wersji pdf:

Ewaluacja wewnętrzna

Zobacz pozostałe wpisy w tej kategorii: Podręcznik Ewaluacji

Treść chroniona prawem autorskim.

Post Ewaluacja wewnętrzna, czy zewnętrzna? pojawił się poraz pierwszy w PrePost Consulting.

Cechy charakterystyczne dla jakościowego podejścia badawczego w ewaluacji to zwłaszcza:^[1]

Małe próby – ograniczona liczba respondentów.

Brak możliwości generalizowania uzyskanych rezultatów na populację docelową (w formalnym znaczeniu), możliwość dokonywania nieformalnych ekstrapolacji.

Nie-probabilistyczny, celowy dobór próby – rezultatem takiego doboru próby jest brak wiarygodności i reprezentatywności statystycznej uzyskiwanych danych; z drugiej strony pozwala on na uzyskiwanie danych pochodzących od przypadków dobranych w taki sposób, by możliwie najlepiej reprezentowały wybory i zachowania badanej grupy docelowej.

Interaktywny sposób gromadzenia danych – nie mamy tutaj do czynienia ze standaryzacją warunków gromadzenia danych na potrzeby ewalaucji. Przebieg wywiadu (czy to indywidualnego, czy grupowego) determinowany jest w równym stopniu przez ewaluatora i przez respondenta, a uzyskiwane wyniki są rezultatem wzajemnej interakcji uczestników procesu badawczego. Badacz jest częścią danych, gdyż postawy i wartości ewaluatora, jego osobiste doświadczenia i wiedza o badanym zagadnieniu mają wpływ na definicję problemu i analizę danych (subiektywizm analizy – założenie to jest otwarcie uznawane i rozumiane, jako warunek procesu badawczego).

Dostępność danych – badanie jakościowe i jego wyniki są łatwiej odbierane i rozumiane przez laików niż badanie ilościowe, gdyż ewaluator korzysta ze zwykłego, codziennego języka i często posługuje się metodami obrazowymi w tłumaczeniu zjawisk i zależności.

Elastyczność procesu badawczego ewaluacji – badania jakościowe pozwalają ewaluatorowi na kontakt z materiałem badawczym i danymi w trakcie ich gromadzenia. Badacz ma tutaj znacznie większą kontrolę nad przebiegiem procesu badawczego (na każdym jego etapie) niż w przypadku badań ilościowych, w których faza terenowa z konieczności delegowana jest całkowicie do struktury sieci ankieterskiej, z którą zazwyczaj analityk i zleceniodawca badania ma bardzo ograniczony kontakt.

Rysunek 1. Charakterystyka badań jakościowych

Źródło: Opracowanie własne

W badaniach jakościowych wykorzystywanych w ewaluacji w charakterze informatorów występują osoby dobrane celowo. Respondentów bezpośrednio dotyczy badane zjawisko lub przedsięwzięcie, niejednokrotnie są zaangażowani w jego tworzenie, są jego rzeczywistymi lub potencjalnymi beneficjentami. Analizując zebrane w trakcie wywiadów wszystkie indywidualne opinie, przekonania i odczucia pozyskane od respondentów należy mieć na uwadze, że są one odzwierciedleniem ich prywatnych, osobistych odczuć, refleksji i subiektywnego postrzegania rzeczywistości. Przeglądając i potem analizując zebrane dane warto pamiętać, że: „W badaniach jakościowych ważną kwestią jest raczej „autentyczność” niż rzetelność”. Nie powinnyśmy postrzegać odpowiedzi, jakie padają w wywiadach, jako po prostu prawdziwe lub fałszywe sprawozdanie z rzeczywistości”.^[2]

[1] A. Dyjas-Pokorska (ORBS IFiS PAN), Badania jakościowe w ewaluacji.  Zasady przygotowania i realizacji badań typu jakościowego. Materiały z wykładów prowadzonych w ramach Podyplomowe Studium Ewaluacji Projektów Finansowanych przez Unię Europejską. Uniwersytet Warszawski Centrum Badań Polityki Naukowej i Szkolnictwa Wyższego 2004/2005.

[2] D. Silverman, Interpretacja danych jakościowych. Wydawnictwo Naukowe PWN, Warszawa 2007.

Pobierz trzecią część podręcznika w wersji pdf:

Badania jakościowe w ewaluacji

Zobacz pozostałe wpisy w tej kategorii: Podręcznik Ewaluacji

Treść chroniona prawem autorskim.

Post Badania jakościowe w ewaluacji pojawił się poraz pierwszy w PrePost Consulting.

W przeciwieństwie do pytań kluczowych, które nie posiadają charakteru oceniającego, kryteria ewaluacji mają formułę wyraźnie wartościującą. Stanowią one rodzaj pryzmatu, przez który ewaluator będzie patrzył na ewaluowane przedsięwzięcie, wskazując to, co jest najistotniejsze z punku widzenia jego celów i efektów.

Jedno i to samo zdarzenie może być skrajnie inaczej ocenione, gdy za kryterium oceny przyjmie się inną wartość. Na przykład oceniając szkolenia realizowane w ramach projektu reorientacji zawodowej przy zastosowaniu kryterium „skuteczności” stwierdzamy, że projekt zrealizował przewidywaną liczbę szkoleń, a wiec jest „dobry”. Jednak oceniając te same szkolenia przy zastosowaniu kryterium „użyteczności” stwierdzamy, że projekt nie spełnił oczekiwań jego uczestników, a więc jest „zły”. W zależności od przyjętego kryterium zmienia się nasz sposób oceny, co zobrazować mogą poniższe przykłady.

Kryteria a ewaluacja projektu

1. Projekt skuteczny nie musi być efektywny.
2. Projekt skuteczny nie zawsze jest użyteczny.
3. Projekt adekwatny, w momencie jego tworzenia, wcale nie musi być ostatecznie użyteczny dla odbiorców.
4. Nawet użyteczny projekt nie zawsze tworzy trwałe rezultaty.

Dlatego też etap wyboru kryteriów ewaluacji wymaga ścisłej współpracy ewaluatora z osobą zamawiającą ewaluację w celu zidentyfikowania i wybrania takich kryteriów, które staną się podstawą oceny ewaluowanego przedsięwzięcia.

Przykładami najczęściej stosowanych kryteriów ewaluacji są:

1. RELEVANCE (ang.): Trafność, Właściwość, Odpowiedniość, Zgodność, Adekwatność, Stosowność
2. EFFICIENCY (ang.): Efektywność, Wydajność, Ekonomiczność
3. EFFECTIVENESS (ang.): Skuteczność
4. UTILITY (ang.): Użyteczność
5. SUSTAINABILITY (ang.): Trwałość, Długotrwałość, Wpływ

W teorii istnieje wiele tłumaczeń znaczeń poszczególnych kryteriów ewaluacji. W uproszczeniu definiowanie poszczególnych kryteriów można zinterpretować w poniższy sposób:

Pobierz drugą część podręcznika w wersji pdf:

Kryteria ewaluacji

Zobacz pozostałe wpisy w tej kategorii: Podręcznik Ewaluacji

Treść chroniona prawem autorskim.

Post Kryteria ewaluacji pojawił się poraz pierwszy w PrePost Consulting.

Monitorowanie powinno być integralną częścią codziennego zarządzania organizacją i wspomagać proces ewaluacji. Monitoring w praktyce to wewnętrzny mechanizm zarządzania organizacją, spełniający funkcję wewnętrznej kontroli. Ma na celu zapewnienie zgodności realizacji działań z założeniami, celami i wskaźnikami zatwierdzonymi w planach operacyjnych i strategicznych rozwoju organizacji. Spośród wielu funkcjonujących definicji monitoringu, najbardziej precyzyjna jest definicja, która traktuje monitoring jako proces systematycznego zbierania i analizowania ilościowych i jakościowych informacji na temat działań organizacji w aspekcie finansowym i rzeczowym. Oznacza to w praktyce potrzebę zbudowania systemu monitoringu, czyli sposobów gromadzenia, przechowywania, przetwarzania i analizowania danych oraz informacji dotyczących działań i efektów założonych w planach operacyjnych i strategicznych.

Jednakże dla pełnego obrazu skuteczności i efektywności funkcjonowania organizacji ważne jest także, aby wypracowała ona efektywne mechanizmy pozyskiwania informacji zwrotnej ze środowiska. Organizacja powinna analizować wpływ swoich działań na rozwiązywanie istotnych problemów społecznych oraz poziom zadowolenia klientów biznesowych i klientów wewnętrznych (zespół organizacji). Dane monitoringowe i informacje zwrotne powinny być systematycznie wykorzystywane na potrzeby ewaluacji.

We współczesnej gospodarce opartej na wiedzy i informacji ranga i znaczenie ewaluacji w zarządzaniu organizacją znacznie wzrosło. Dla skutecznego zarządzania opartego o wiedzę wykorzystuje się ewaluację do wprowadzania zmian. „Organizacja ucząca się” uczy się nie tylko poprzez praktyczne działanie, ale wykorzystuje także badania ewaluacyjne do wprowadzania usprawnień i poprawy funkcjonowania organizacji jak i wpływania na budowanie kultury organizacji.

Organizacja, która jest zarządzana strategicznie ma wypracowane stałe mechanizmy ewaluacji dotyczącej całościowego funkcjonowania organizacji, angażujące zespół oraz przedstawicieli środowiska. Ewaluacja jest prowadzona z wykorzystaniem różnorodnych metod badawczych, zarówno jakościowych jak i ilościowych. Wnioski i rekomendacje z ewaluacji są wykorzystywane do podejmowania decyzji usprawniających i są podstawą do korygowania, nowelizacji założeń planów operacyjnych i strategii rozwoju.

Wyniki ewaluacji służą także do wypracowywania trwałego procesu ulepszania jakości usług dostarczanych klientom. Organizacja powinna podejmować starania, aby produkty/usługi były dostosowane do potrzeb artykułowanych przez klientów, a ich jakość była systematycznie monitorowana i oceniana poprzez informacje zwrotne.

Pobierz pierwszą część podręcznika w wersji pdf:

Ewaluacja w zarządzaniu strategicznym

Zobacz pozostałe wpisy w tej kategorii: Podręcznik Ewaluacji

Treść chroniona prawem autorskim.

Post Ewaluacja w zarządzaniu strategicznym pojawił się poraz pierwszy w PrePost Consulting.

Raport jest dostępny na stronie: http://www.arp.gda.pl/plik,3522,raport-z-ewaluacji-2014-r-sektor-msp-na-pomorzu-w-warunkach-spowolnienia-tempa-wzrostu-gospodarczego.pdf

Post Przewodnik dobrych praktyk tworzenia partnerstw lokalnych pojawił się poraz pierwszy w PrePost Consulting.

Prowadzimy badania z szerokim gronem respondentów począwszy od osób, które skorzystały z ofert ośrodka kompetencji po dyrektorów WUP z różnych województw.

http://www.wup.gdansk.pl/rynek_pracy/artykuly/wielowymiarowy-model-wsparcia-i-identyfikacji-kompetencji-zawodowych.html#tabName=tab2).

Post Badanie ewaluacyjne dla WUP w Gdańsku pojawił się poraz pierwszy w PrePost Consulting.

W ramach Projektu powstały również raporty z badań m.in. „Sektor MŚP na Pomorzu w warunkach spowolnienia tempa wzrostu gospodarczego”, „Warunki dla rozwoju przedsiębiorczości w powiecie kościerskim” oraz „Raport z Badania Postaw Przedsiębiorczych Młodzieży Kościerskiej”.

Więcej o projekcie na stronie: http://www.arp.gda.pl/691,razem-dla-rozwoju-koscierskich-przedsiebiorstw.html

Post Ewaluacja projektu „Razem dla rozwoju kościerskich przedsiębiorstw” pojawił się poraz pierwszy w PrePost Consulting.

Celem projektu jest opracowanie, przetestowanie i upowszechnienie modelowego rozwiązania – metody współpracy pomiędzy publiczną instytucją rynku pracy (PUP, WUP), niepubliczną instytucją rynku pracy (firmą doradczą, rekrutacyjną, szkoleniową) i pracodawcami w zakresie rekrutacji pracowników spośród osób bezrobotnych nie posiadających formalnych kwalifikacji (z uwzględnieniem osób niepełnosprawnych i powyżej 50 roku życia) na wolne miejsca pracy.

Więcej informacji o Projekcie na stronie:  modelrekrutacji.pl

Post Ewaluacja Nowego Modelu Rekrutacji pojawił się poraz pierwszy w PrePost Consulting.

Więcej o projekcie na stronie: www.innowacyjnedoradztwo.pl

Post Ewaluacja innowacyjnego Modelu świadczenia kompleksowych usług doradczych dla MŚP pojawił się poraz pierwszy w PrePost Consulting.