Krótka historia współczesnej ewaluacji

Tradycja badań ewaluacyjnych sięga początków XX wieku, kolebką badań ewaluacyjnych są Stany Zjednoczone.

Pierwsze próby udokumentowanej oceny wyników nauczania prowadził w USA Joseph M. Rice (1857-1934), lekarz z wykształcenia wykonujący zawód inspektora oświaty. W jego pionierskich poczynaniach interesowało go głównie podniesienie skuteczności nauczania. Jego praca i doświadczenia pozwalały po raz pierwszy porównywać poziom pracy szkół.

Pierwsze badania ewaluacyjne przeprowadzono w USA w latach 20-tych a teoria ewaluacji została po raz pierwszy zaproponowana w 1949 roku przez R. Tylera. Obecnie funkcjonujące pojęcia ewaluacji kształtującej (ang. formative evaluation) i sumującej (ang. summative evaluation) zostały wprowadzone przez Michaela Scrivena w 1967 roku w książce Metodologia ewaluacji (The Metodology of Evaluation). Właśnie w latach 60-tych nastąpił dynamiczny rozwój tej dyscypliny –głównie w USA i państwach zachodnioeuropejskich.

Ewaluacja stała się niezależną dyscypliną badań społecznych.

Podejmując próbę zgłębienia zagadnień związanych z tematyką monitoringu i ewaluacji już na wstępie okazało się, że nie istnieje jedna i uniwersalna definicja ewaluacji, a wiele stosowanych pojęć wokół tej problematyki jest niejednoznacznych i zależy od przyjmowanych założeń metodologicznych i koncepcji dociekań badawczych.

W bardzo ogólnym ujęciu można powiedzieć, że monitoring mówi nam „Co się dzieje”, a ewaluacja odpowiada na pytanie „Dlaczego tak się dzieje”.

W gospodarce opartej na wiedzy i informacji ranga i znaczenie ewaluacji znacznie wzrosło. Wyniki badań ewaluacyjnych wykorzystuje się do wprowadzania zmian w programowaniu rozwoju społeczno-gospodarczego, poprawy efektywności interwencji publicznych, a także skuteczności zarządzania organizacjami. Uczymy się nie tylko poprzez praktyczne działanie (learning from doing), ale także poprzez ewaluację (learning from evaluation).

Warto bliżej przyjrzeć się wybranym 23 definicjom, aby zrozumieć jak różnie w literaturze podchodzi się do tej problematyki.

23 Definicje ewaluacji

1. W Słowniku Języka Polskiego PWN znajdziemy następujące hasło: „ewaluacja – ustalenie wartości i ceny czegoś, ocenianie, oszacowanie”. Potocznie przyjęło się rozumieć ewaluację jako synonim oceniania i kontroli, czasem także jako wartościowanie i szacowanie wartości.
2. Ewaluacja to słowo pochodzące z języka francuskiego oznaczające oszacowanie lub określenie wartości, czasem również ocenę. Takie znaczenie ma też w literaturze anglojęzycznej. Pojęcie to również w Polsce nie jest niczym nowym, gdyż w 1929 roku słownik M. Arcta mówi o niej: „ocenianie, oszacowanie, określenie wartości”.
3. Ewaluacja – Osądź, oceń, zdecyduj, oszacuj, wyraź swoją opinię. Wyrażanie opinii na dany temat. Ocenianie sensowności pomysłów. Osądzanie wartości rozwiązania problemu.
4. Badanie własności obiektu.
5. Systematyczne badanie wartości lub zalet jakiegoś obiektu. (Joint Committee on Standards for Educational Programs, Projects and Materials).
6. Systematyczny proces obejmujący zbieranie informacji oraz zdawanie relacji (w postaci raportu) z tego, jak się rzeczy mają z intencją dostarczenia danych ułatwiających podejmowanie decyzji. (H. Simon).
7. Systematyczne zbieranie informacji z pewnego zakresu, którego celem jest dostarczenie przydatnej informacji zwrotnej.
8. Proces zbierania informacji i ich interpretacja w celu podejmowania decyzji; (zdyscyplinowana ocena). (H. Komorowska)
9. Proces diagnostyczno – oceniający, zawierający w sobie elementy pomiaru, osądu i decyzji. (J.J. Guilbert)
10. Ewaluacja jest procesem systematycznego gromadzenia informacji na temat działania, właściwości i rezultatów programów, personelu oraz produktów. (M.Q.Patton)
11. Zaplanowane i systematyczne działanie uwidaczniające, w jakim stopniu zostały osiągnięte cele.
12. Najprościej ewaluację można określić jako ustalanie wartości czegoś. Ewaluacja jest częścią procesu podejmowania decyzji. Obejmuje wydawanie opinii o wartości działania poprzez systematyczne, jawne zbieranie i analizowanie o nim informacji w odniesieniu do znanych celów, kryteriów i wartości. (Kath Aspiwall i in. „Co to jest ewaluacja? w red. H. Mizerek)
13. Proces zmierzający do stwierdzenia, w jakim stopniu zamierzone cele [edukacji] są rzeczywiście realizowane.
14. Ewaluacja to sztuka zadawanie pytań.
15. Systematyczne badanie zdarzeń, które mają miejsce w ramach realizowanego programu bądź stanowią jego konsekwencję.
16. Systematyczny i jawny proces zbierania informacji na temat istoty, charakteru i wartości interesujących (praktyka) zjawisk.
17. Ewaluacja ma służyć nie uzasadnieniu programu, lecz poprawie istniejącego stanu rzeczy. (C. Robin).
18. „Proces zmierzający do stwierdzenia, w jakim stopniu założone cele są rzeczywiście realizowane” (R. W. Tyler).
19. „Proces określania, uzyskiwania i dostarczania takich informacji, które pozwoliłyby na ocenę decyzyjnych alternatyw” (D. L. Stufflebeam).
20. „Wnikliwe badanie charakterystyki i zalet ewaluowanego programu. Celem ewaluacji jest dostarczenie informacji na temat efektywności badanego obiektu, tak by zoptymalizować jego wyniki, jakość i sprawność działania” (A. Fink).
21. “Systematyczne badanie wartości, zalet ewaluowanego programu” (Joint Committee on Standards for Educational Evaluation).
22. „Ewaluacja jest porównywaniem tego, co powinno być (kryteria, standardy, cele) z tym, co jest (dowody, dane, informacje) w celu przypisania oceny lub wartości do tego, co jest ewaluowane” (S.M. Steele).
23. „Jeżeli jakieś środki zostały zużyte aby dokonać zmian w życiu jednostek, grup lub wspólnot ludzkich to ewaluacja jest procesem pomiaru osiągniętego rezultatu i oceny skuteczności wykorzystania tych środków dla realizacji zamierzonych celów” („Sekrety ewaluacji”; materiały BORDO; dr Zbigniew Lasocik, Uniwersytet Warszawski).

Pod dalszą refleksję poddaję pytanie czy ta mnogość definicji ułatwia czy utrudnia zrozumienie pojęcia ewaluacji.

Pobierz piątą część podręcznika w wersji pdf:

Definicje ewaluacji

Zobacz pozostałe wpisy w tej kategorii: Podręcznik Ewaluacji

Treść chroniona prawem autorskim.

Post EWALUACJA – PODSTAWOWE DEFINICJE pojawił się poraz pierwszy w PrePost Consulting.

Oferujemy 3 pakiety badań internetwowych – od najprostszej ankiety do pełnego raportu na temat zagadnienia biznesowego, które warto zdiagnozować i ocenić.

www.badania.prepost.pl

Post Badania internetowe pojawił się poraz pierwszy w PrePost Consulting.

Cechy charakterystyczne dla jakościowego podejścia badawczego w ewaluacji to zwłaszcza:^[1]

Małe próby – ograniczona liczba respondentów.

Brak możliwości generalizowania uzyskanych rezultatów na populację docelową (w formalnym znaczeniu), możliwość dokonywania nieformalnych ekstrapolacji.

Nie-probabilistyczny, celowy dobór próby – rezultatem takiego doboru próby jest brak wiarygodności i reprezentatywności statystycznej uzyskiwanych danych; z drugiej strony pozwala on na uzyskiwanie danych pochodzących od przypadków dobranych w taki sposób, by możliwie najlepiej reprezentowały wybory i zachowania badanej grupy docelowej.

Interaktywny sposób gromadzenia danych – nie mamy tutaj do czynienia ze standaryzacją warunków gromadzenia danych na potrzeby ewalaucji. Przebieg wywiadu (czy to indywidualnego, czy grupowego) determinowany jest w równym stopniu przez ewaluatora i przez respondenta, a uzyskiwane wyniki są rezultatem wzajemnej interakcji uczestników procesu badawczego. Badacz jest częścią danych, gdyż postawy i wartości ewaluatora, jego osobiste doświadczenia i wiedza o badanym zagadnieniu mają wpływ na definicję problemu i analizę danych (subiektywizm analizy – założenie to jest otwarcie uznawane i rozumiane, jako warunek procesu badawczego).

Dostępność danych – badanie jakościowe i jego wyniki są łatwiej odbierane i rozumiane przez laików niż badanie ilościowe, gdyż ewaluator korzysta ze zwykłego, codziennego języka i często posługuje się metodami obrazowymi w tłumaczeniu zjawisk i zależności.

Elastyczność procesu badawczego ewaluacji – badania jakościowe pozwalają ewaluatorowi na kontakt z materiałem badawczym i danymi w trakcie ich gromadzenia. Badacz ma tutaj znacznie większą kontrolę nad przebiegiem procesu badawczego (na każdym jego etapie) niż w przypadku badań ilościowych, w których faza terenowa z konieczności delegowana jest całkowicie do struktury sieci ankieterskiej, z którą zazwyczaj analityk i zleceniodawca badania ma bardzo ograniczony kontakt.

Rysunek 1. Charakterystyka badań jakościowych

Źródło: Opracowanie własne

W badaniach jakościowych wykorzystywanych w ewaluacji w charakterze informatorów występują osoby dobrane celowo. Respondentów bezpośrednio dotyczy badane zjawisko lub przedsięwzięcie, niejednokrotnie są zaangażowani w jego tworzenie, są jego rzeczywistymi lub potencjalnymi beneficjentami. Analizując zebrane w trakcie wywiadów wszystkie indywidualne opinie, przekonania i odczucia pozyskane od respondentów należy mieć na uwadze, że są one odzwierciedleniem ich prywatnych, osobistych odczuć, refleksji i subiektywnego postrzegania rzeczywistości. Przeglądając i potem analizując zebrane dane warto pamiętać, że: „W badaniach jakościowych ważną kwestią jest raczej „autentyczność” niż rzetelność”. Nie powinnyśmy postrzegać odpowiedzi, jakie padają w wywiadach, jako po prostu prawdziwe lub fałszywe sprawozdanie z rzeczywistości”.^[2]

[1] A. Dyjas-Pokorska (ORBS IFiS PAN), Badania jakościowe w ewaluacji.  Zasady przygotowania i realizacji badań typu jakościowego. Materiały z wykładów prowadzonych w ramach Podyplomowe Studium Ewaluacji Projektów Finansowanych przez Unię Europejską. Uniwersytet Warszawski Centrum Badań Polityki Naukowej i Szkolnictwa Wyższego 2004/2005.

[2] D. Silverman, Interpretacja danych jakościowych. Wydawnictwo Naukowe PWN, Warszawa 2007.

Pobierz trzecią część podręcznika w wersji pdf:

Badania jakościowe w ewaluacji

Zobacz pozostałe wpisy w tej kategorii: Podręcznik Ewaluacji

Treść chroniona prawem autorskim.

Post Badania jakościowe w ewaluacji pojawił się poraz pierwszy w PrePost Consulting.