Oferujemy 3 pakiety badań internetwowych – od najprostszej ankiety do pełnego raportu na temat zagadnienia biznesowego, które warto zdiagnozować i ocenić.

www.badania.prepost.pl

Post Badania internetowe pojawił się poraz pierwszy w PrePost Consulting.

Cechy charakterystyczne dla jakościowego podejścia badawczego w ewaluacji to zwłaszcza:^[1]

Małe próby – ograniczona liczba respondentów.

Brak możliwości generalizowania uzyskanych rezultatów na populację docelową (w formalnym znaczeniu), możliwość dokonywania nieformalnych ekstrapolacji.

Nie-probabilistyczny, celowy dobór próby – rezultatem takiego doboru próby jest brak wiarygodności i reprezentatywności statystycznej uzyskiwanych danych; z drugiej strony pozwala on na uzyskiwanie danych pochodzących od przypadków dobranych w taki sposób, by możliwie najlepiej reprezentowały wybory i zachowania badanej grupy docelowej.

Interaktywny sposób gromadzenia danych – nie mamy tutaj do czynienia ze standaryzacją warunków gromadzenia danych na potrzeby ewalaucji. Przebieg wywiadu (czy to indywidualnego, czy grupowego) determinowany jest w równym stopniu przez ewaluatora i przez respondenta, a uzyskiwane wyniki są rezultatem wzajemnej interakcji uczestników procesu badawczego. Badacz jest częścią danych, gdyż postawy i wartości ewaluatora, jego osobiste doświadczenia i wiedza o badanym zagadnieniu mają wpływ na definicję problemu i analizę danych (subiektywizm analizy – założenie to jest otwarcie uznawane i rozumiane, jako warunek procesu badawczego).

Dostępność danych – badanie jakościowe i jego wyniki są łatwiej odbierane i rozumiane przez laików niż badanie ilościowe, gdyż ewaluator korzysta ze zwykłego, codziennego języka i często posługuje się metodami obrazowymi w tłumaczeniu zjawisk i zależności.

Elastyczność procesu badawczego ewaluacji – badania jakościowe pozwalają ewaluatorowi na kontakt z materiałem badawczym i danymi w trakcie ich gromadzenia. Badacz ma tutaj znacznie większą kontrolę nad przebiegiem procesu badawczego (na każdym jego etapie) niż w przypadku badań ilościowych, w których faza terenowa z konieczności delegowana jest całkowicie do struktury sieci ankieterskiej, z którą zazwyczaj analityk i zleceniodawca badania ma bardzo ograniczony kontakt.

Rysunek 1. Charakterystyka badań jakościowych

Źródło: Opracowanie własne

W badaniach jakościowych wykorzystywanych w ewaluacji w charakterze informatorów występują osoby dobrane celowo. Respondentów bezpośrednio dotyczy badane zjawisko lub przedsięwzięcie, niejednokrotnie są zaangażowani w jego tworzenie, są jego rzeczywistymi lub potencjalnymi beneficjentami. Analizując zebrane w trakcie wywiadów wszystkie indywidualne opinie, przekonania i odczucia pozyskane od respondentów należy mieć na uwadze, że są one odzwierciedleniem ich prywatnych, osobistych odczuć, refleksji i subiektywnego postrzegania rzeczywistości. Przeglądając i potem analizując zebrane dane warto pamiętać, że: „W badaniach jakościowych ważną kwestią jest raczej „autentyczność” niż rzetelność”. Nie powinnyśmy postrzegać odpowiedzi, jakie padają w wywiadach, jako po prostu prawdziwe lub fałszywe sprawozdanie z rzeczywistości”.^[2]

[1] A. Dyjas-Pokorska (ORBS IFiS PAN), Badania jakościowe w ewaluacji.  Zasady przygotowania i realizacji badań typu jakościowego. Materiały z wykładów prowadzonych w ramach Podyplomowe Studium Ewaluacji Projektów Finansowanych przez Unię Europejską. Uniwersytet Warszawski Centrum Badań Polityki Naukowej i Szkolnictwa Wyższego 2004/2005.

[2] D. Silverman, Interpretacja danych jakościowych. Wydawnictwo Naukowe PWN, Warszawa 2007.

Pobierz trzecią część podręcznika w wersji pdf:

Badania jakościowe w ewaluacji

Zobacz pozostałe wpisy w tej kategorii: Podręcznik Ewaluacji

Treść chroniona prawem autorskim.

Post Badania jakościowe w ewaluacji pojawił się poraz pierwszy w PrePost Consulting.

W przeciwieństwie do pytań kluczowych, które nie posiadają charakteru oceniającego, kryteria ewaluacji mają formułę wyraźnie wartościującą. Stanowią one rodzaj pryzmatu, przez który ewaluator będzie patrzył na ewaluowane przedsięwzięcie, wskazując to, co jest najistotniejsze z punku widzenia jego celów i efektów.

Jedno i to samo zdarzenie może być skrajnie inaczej ocenione, gdy za kryterium oceny przyjmie się inną wartość. Na przykład oceniając szkolenia realizowane w ramach projektu reorientacji zawodowej przy zastosowaniu kryterium „skuteczności” stwierdzamy, że projekt zrealizował przewidywaną liczbę szkoleń, a wiec jest „dobry”. Jednak oceniając te same szkolenia przy zastosowaniu kryterium „użyteczności” stwierdzamy, że projekt nie spełnił oczekiwań jego uczestników, a więc jest „zły”. W zależności od przyjętego kryterium zmienia się nasz sposób oceny, co zobrazować mogą poniższe przykłady.

Kryteria a ewaluacja projektu

1. Projekt skuteczny nie musi być efektywny.
2. Projekt skuteczny nie zawsze jest użyteczny.
3. Projekt adekwatny, w momencie jego tworzenia, wcale nie musi być ostatecznie użyteczny dla odbiorców.
4. Nawet użyteczny projekt nie zawsze tworzy trwałe rezultaty.

Dlatego też etap wyboru kryteriów ewaluacji wymaga ścisłej współpracy ewaluatora z osobą zamawiającą ewaluację w celu zidentyfikowania i wybrania takich kryteriów, które staną się podstawą oceny ewaluowanego przedsięwzięcia.

Przykładami najczęściej stosowanych kryteriów ewaluacji są:

1. RELEVANCE (ang.): Trafność, Właściwość, Odpowiedniość, Zgodność, Adekwatność, Stosowność
2. EFFICIENCY (ang.): Efektywność, Wydajność, Ekonomiczność
3. EFFECTIVENESS (ang.): Skuteczność
4. UTILITY (ang.): Użyteczność
5. SUSTAINABILITY (ang.): Trwałość, Długotrwałość, Wpływ

W teorii istnieje wiele tłumaczeń znaczeń poszczególnych kryteriów ewaluacji. W uproszczeniu definiowanie poszczególnych kryteriów można zinterpretować w poniższy sposób:

Pobierz drugą część podręcznika w wersji pdf:

Kryteria ewaluacji

Zobacz pozostałe wpisy w tej kategorii: Podręcznik Ewaluacji

Treść chroniona prawem autorskim.

Post Kryteria ewaluacji pojawił się poraz pierwszy w PrePost Consulting.

Monitorowanie powinno być integralną częścią codziennego zarządzania organizacją i wspomagać proces ewaluacji. Monitoring w praktyce to wewnętrzny mechanizm zarządzania organizacją, spełniający funkcję wewnętrznej kontroli. Ma na celu zapewnienie zgodności realizacji działań z założeniami, celami i wskaźnikami zatwierdzonymi w planach operacyjnych i strategicznych rozwoju organizacji. Spośród wielu funkcjonujących definicji monitoringu, najbardziej precyzyjna jest definicja, która traktuje monitoring jako proces systematycznego zbierania i analizowania ilościowych i jakościowych informacji na temat działań organizacji w aspekcie finansowym i rzeczowym. Oznacza to w praktyce potrzebę zbudowania systemu monitoringu, czyli sposobów gromadzenia, przechowywania, przetwarzania i analizowania danych oraz informacji dotyczących działań i efektów założonych w planach operacyjnych i strategicznych.

Jednakże dla pełnego obrazu skuteczności i efektywności funkcjonowania organizacji ważne jest także, aby wypracowała ona efektywne mechanizmy pozyskiwania informacji zwrotnej ze środowiska. Organizacja powinna analizować wpływ swoich działań na rozwiązywanie istotnych problemów społecznych oraz poziom zadowolenia klientów biznesowych i klientów wewnętrznych (zespół organizacji). Dane monitoringowe i informacje zwrotne powinny być systematycznie wykorzystywane na potrzeby ewaluacji.

We współczesnej gospodarce opartej na wiedzy i informacji ranga i znaczenie ewaluacji w zarządzaniu organizacją znacznie wzrosło. Dla skutecznego zarządzania opartego o wiedzę wykorzystuje się ewaluację do wprowadzania zmian. „Organizacja ucząca się” uczy się nie tylko poprzez praktyczne działanie, ale wykorzystuje także badania ewaluacyjne do wprowadzania usprawnień i poprawy funkcjonowania organizacji jak i wpływania na budowanie kultury organizacji.

Organizacja, która jest zarządzana strategicznie ma wypracowane stałe mechanizmy ewaluacji dotyczącej całościowego funkcjonowania organizacji, angażujące zespół oraz przedstawicieli środowiska. Ewaluacja jest prowadzona z wykorzystaniem różnorodnych metod badawczych, zarówno jakościowych jak i ilościowych. Wnioski i rekomendacje z ewaluacji są wykorzystywane do podejmowania decyzji usprawniających i są podstawą do korygowania, nowelizacji założeń planów operacyjnych i strategii rozwoju.

Wyniki ewaluacji służą także do wypracowywania trwałego procesu ulepszania jakości usług dostarczanych klientom. Organizacja powinna podejmować starania, aby produkty/usługi były dostosowane do potrzeb artykułowanych przez klientów, a ich jakość była systematycznie monitorowana i oceniana poprzez informacje zwrotne.

Pobierz pierwszą część podręcznika w wersji pdf:

Ewaluacja w zarządzaniu strategicznym

Zobacz pozostałe wpisy w tej kategorii: Podręcznik Ewaluacji

Treść chroniona prawem autorskim.

Post Ewaluacja w zarządzaniu strategicznym pojawił się poraz pierwszy w PrePost Consulting.

Projekty typu foresight pierwotnie stosowane były jako narzędzie planowania w sektorze naukowym i technologicznym, obecnie jest to metoda coraz szerzej używana na całym świecie – zarówno na potrzeby biznesu, jak i w innych sektorach. Ciekawą inicjatywą jest zastosowanie metody foresightu do myślenia o rozwoju polskiego sektora pozarządowego i aktywności obywatelskiej w dłuższej perspektywie, zaproponowane w projekcie pn. „Foresight Obywatelski” realizowanym przez Pracownię Badań i Innowacji Społecznych STOCZNIA. Publikację nt. Foresightu Obywatelskiego można pobrać ze strony: http://stocznia.org.pl/publikacje-stoczni/

Post Foresight jako metoda planowania strategicznego pojawił się poraz pierwszy w PrePost Consulting.