Всеукраїнська біологічна олімпіада
2012 рік

ІІІ етап: аналіз

Загальна інформація про олімпіаду, завдання, відповіді, результати - за цією адресою.

Аналіз ґрунтується на загальнодоступних відомостях.

• загальна статистика тесту
• індивідуальна першість
• успішність областей

Загальна статистика

1. Узгодженість результатів різних тестів

Зрозуміло, що будь-яка частина олімпіадного тесту оцінює знання біології, принаймні, саме цього прагнули автори. Проте, завдання різних типів мають певну специфіку, і ми вирішили оцінити, наскільки пов’язаними виявилися успішності участників у різних тестах. Для цього ми провели процедуру рангової кореляції за Спірменом. Для необізнаних у статистиці: в результаті корелювання двох показників отримується одне число - коефіцієнт кореляції. Якщо він нульовий, це значить, що дві групи даних ніяк між собою не пов’язані. Якщо коефіцієнт є позитивним, то більшим значенням одного показника відповідають більші значення другого показника (наприклад, люди більшого росту в середньому більше важать, ніж низькі). Негативні коефіцієнти кореляції означають, що два показники змінюються узгоджено, але різнонаправлено (наприклад, при більшій забрудненості повітря кількість лишайників на деревах стає меншою, і навпаки - при меншій забрудненості повітря кількість лишайників зростає).

В усіх класах оцінки за тести А, Б і В виявилися значно пов’язаними, коефіцієнти кореляції становили від 0.33 до 0.64. Найменш корельованими виявилися оцінки тестів А і В, найбільше - А і Б. Кореляція результативності виконання завдань у 10 і 11 класах виявилася більшою, в порівнянні з 8 і 9 класами. Ймовірною причиною цього можуть бути а) незвичність процедури тестування для учнів молодших класів, б) більший рівень знань старшокласників, який нівелював фактор форми тестів.

Узгодженість оцінок за експериментальні задачі з оцінками за тести А, Б і В виявилася меншою - коефіцієнти кореляції становили від 0.08 до 0.42. Ми розглядаємо коефіцієнти, нижчі за 0.3 як практичну відсутність зв’язку між аналізованими показниками. Непов’язаними виявилися результати "теорії" і "практики" у 9 і 10 класах, а також задачі №2 (родовід) у 11 класі. Це говорить про те, що експериментальні задачі виявилися істотно іншим типом завдань в порівнянні із більш звичними тестами типів А і Б (які часто використовуються у школі) та тесту В (подібного по завдань ЗНО). Таким чином, за рахунок експериментальних задач олімпіадний тест стає більш різноманітним і у більшому ступені оцінює творчий підхід до вирішення конкретних біологічних проблем.

Значущої кореляції між двома експериментальними задачами в жодному класі виявлено не було. Іншими словами, відносно кращі результати з вирішення кожної задачі були продемонстровані різними учнями. Зауважимо, що це не значить, що учні, які добре вирішували одну задачу, погано вирішували іншу. Цікаво, що коефіцієнти кореляції між сумарними оцінками за "теорію" і "практику" в усіх класах перевищували мінімальний рівень і становили від 0.31 до 0.55. Таким чином, якщо кожна конкретна експериментальна задача мала конкретну вузьку направленість, то сумарна оцінка за практику відображала загальне знання біології. Отже, навіть невелика кількість експериментальних задач (дві) робить загальний тест повноцінним з точки зору оцінювання біологічної компетенції. Цікаво, що описана відсутність кореляцій між двома практиками, мала відображення і у індивідуальних результатах учасників.

2. Успішність виконання різних тестів

В цьому розділі нашого аналізу ми використали підхід, що був нами запропонований рік тому, проте результати поки не опубліковані. Ми визначали елементарні статистичні показники, такі як мінімальна оцінка за тест, максимальна оцінка за тест (учні, які продемонстрували максимальні результати, відмічені у персональному рейтингу), та медіана. Медіана - це значення, яке ділить весь масив оцінок на дві половини, тобто 50% учасників мають оцінки нижче медіанного, а інші 50% - вище. Тобто, це та кількість правильних відповідей, яку дали не менше половини учасників. Оскільки різні тести у різних класах мали різний максимум оцінки, медіанне значення ми переводили у форму відсотка від максимума. Нормальним ми вважаємо таке значення медіанної оцінки, яке знаходиться в межах середньої третини, тобто від 33% до 67%. Значення нижче 33% відсотків говорять про надмірну складність тесту, значення вище 67% - про його надмірну легкість. Окрім цього, весь масив потенційних оцінок (від 0 до максимуму) розбивався на п’ять рівних діапазонів. Ми підраховували, оцінки якої кількості учасників олімпіади попадали у той чи інший діапазон. Виділені п’ять діапазонів можна умовно інтерпретувати як "дуже низьку", "низьку", "нормальну", "добру" і "відмінну" оцінки. Зазначимо, що мова в жодному разі не йде про спробу абсолютного оцінювання рівня знань учасників, оскільки олімпіадний тест в принципі не має такої направленості. Основною метою олімпіадного тесту, на нашу думку, є ранжування учасників за рівнем біологічних знань. Іншими словами, задача олімпіади - відповісти на запитання, "хто знає біологію краще", а не "наскільки знає біологію конкретний учасник". Саме у цьому лежить принципова відмінність шкільних тестів або тесту ЗНО від олімпіадного. Проте, переважне потрапляння оцінок учасників у категорії "дуже низької" або "відмінної" оцінки говорить нам про надмірну складність або легкість тесту і про необхідність на майбутнє відповідним чином коригувати тестовий комплект. Оцінки "ідеального" тесту повинні бути розподіленими таким чином: максимальна кількість учасників повинна отримати оцінку з "нормального" діапазону, дещо менше повинні потрапити у сусідні категорії, і невелика кількість повинна потрапити у крайні категорії.

Нижче представлено результати, отримані за описаною методикою. Відсотки округлені до цілих.

8 клас (686 учасників)

Як можна бачити, найбільші ускладнення у учнів викликав тест Б, що є цілком природним, оскільки множинний вибір завжди суттєво ускладнює завдання. Окрім того, традиційно складною виявилася ботанічна задача. Проте, в цілому показники тесту є нормальними.

9 клас (810 учасників)

Тест для 9 класу виявився для учасників порівняно складним, в "нормальні" рамки потрапили результати тільки тесту А. Цікаво, що по експериментальним задачам саме у 9 класі спостерігалася найбільша кількість максимальних відповідей (5 і 3%). Водночас, більшість учасників не набрали за ці завдання і половини оцінки. Ймовірно, це говорить про внутрішню неоднорідність зазначеної вікової групи. Її причини потребують подальшого вивчення.

10 клас (839 учасників)

Також видно, що найскладнішим виявився тест Б, а в цілому завдання олімпіади скоріше складне, ніж легке.

11 клас (910 учасників)

Показники тесту для 11 класу демонструють загальні закономірності: найбільш складний тест Б, в цілому результати менше половини максимальної оцінки.

Висновки. Зважаючи на наведені результати, команда розробників завдань перегляне процес формування тесту Б і спробує зробити його більш зрозумілим і адекватним до рівня знань учнів. Результати аналізу показують, що за деякими компонентами олімпіадного тесту переважна більшість учнів має оцінки суттєво менше половини від можливого максимума. Це значить, що не слід впадати у розпач, отримавши низьку оцінку - вона є цілком адекватною. Наголошуємо, що олімпіадний тест не направлений на пряму оцінку знання біології в рамках шкільної програми, його задача - розподіл учасників і виявлення кращих для участі у загальнодержавному етапі олімпіади. Зважаючи, що на національний етап потрапляє від 1 до 5% учасників, ми вважаємо, що сформований нами олімпіадний тест є цілком адекватний для використання на ІІІ етапі.

Індивідуальна першість

Аналізувалися кращі результати за різні складові олімпіадного тесту. Ми прагнули вибрати найбільш успішні результати, які б істотно відрізнялися від усієї групи. У випадках, коли була велика кількість однаково успішних результатів (більше п’яти), кращі не визначалися.

8 клас

Тест Б:
Гринчук Євгенія (Закарпатська)
Блащак Іван (Тернопільська)

Тест В:
Кучер Інна (Хмельницька)

Загальний показник тестів АБВ:
Кучер Інна (Хмельницька)

Експериментальна задача 1 (плоди):
Красна Тетяна (Чернігівська)
Щепанський Єгор (Донецька)
Білюк Родіон (Одеська)

Експериментальна задача 2 (павукоподібні):
Гавриленко Марина (Полтавська)
Радчук Наталія Олександрівна (Київ)
Кулага Сергій Максимович (Львівська)

Експериментальні задачі в цілому:
Блащак Іван (Тернопільська)

Загальний результат:
Блащак Іван (м.Тернопіль, Тернопільська українська гімназія ім.І.Франка) - 65.75 балів

9 клас

Тест Б:
Няйко Світлана (Хмельницька)

Тест В:
Суран Андрій (Закарпатська)
Ільченко Олександр (Полтавська)
Шепель Поліна (Закарпатська)

Загальний показник тестів АБВ:
Ільченко Олександр (Полтавська)

Експериментальні задачі були досить успішно вирішені учасниками, кращих було дуже багато :)

Експериментальні задачі разом:
Павленко Катерина (Сумська)
Жижка Андрій (Сумська)

Загальний результат:
Павленко Катерина (Сумська сш І-ІІІ ступенів №7 м.Суми) - 63.8 балів
Байдак Світлана (Сумська сш І-ІІІ ступенів №7 м.Суми) - 61 бал
Суран Андрій (Свалявська гімназія, Закарпатська область) - 61 бал

10 клас

Тест Б:
Натолочний Валерій (Хмельницька)

Тест В:
Натолочний Валерій (Хмельницька)
Трофімчук Тетяна (Хмельницька)

Загальний показник тестів АБВ:
Натолочний Валерій (Хмельницька)

Експериментальна задача 1 (бактерії):
Кетелевич Артем (АР Крим)
Павлов Андрей (АР Крим)
Фотеско Кирил (Одеська)

Експериментальна задача 2 (серцевий ритм):
Сулим Микола (Львівська)
Ждан-Пушкіна Олександра (Київ)

Експериментальні задачі разом:
Сулим Микола (Львівська)
Кульбачний Максим (Черкаська)
Батістік Марина (Одеська)

Загальний результат:
Натолочний Валерій Сергійович (Хмельницька область, м. Шепетівка, НВК №2) - 111 балів
Журавель Андрій (Волинський ліцей-інтернат Волинської обласної ради) - 109.5 балів

11 клас

Тест А:
Авілов Іван (Дніпропетровська)
Тарасюк Яна (Вінницька)

Тест Б:
Маргарян Ганна (Хмельницька)

Тест В:
Коваль Крістіна (Хмельницька)

Загальний показник тестів АБВ:
Єсип Наталія (Волинська)

Експериментальна задача 1 (трансплантація):
Зінченко Валентина (Донецька)
Шпур Інна (Хмельницька)
Клещевніков Віталій (Київ)
Кедлян Вероніка (Харківська)

Експериментальна задача 2 (родовід):

Експериментальні задачі разом:
Кедлян Вероніка (Харківська)
Терещенко Єгор (Донецька)

Загальний результат:
Кедлян Вероніка (Харківська гімназія №47 Харківської міської ради) - 117,5 балів
Клещевніков Віталій (Київ, СШ№71) - 115,5 балів
Єсип Наталія (Комунальний заклад "Луцька гімназія №21 імені Михайла Кравчука Луцької міської ради Волинської області") - 115 балів Шпур Інна (Хмельницька область, м. Шепетівка, НВК №1) - 113.5 балів
Белялова Севиль (АР Крим, Сімферополь, УВК) - 107 балів
Кулинич Тимофій (Запорізька область, м. Енергодар, Енергодарський багатопрофільний ліцей) - 102 балів
Зінченко Валентина (Донецька область, обласний ліцей “Ерудит”) - 100.5 балів

Успішність областей

Методика. Аналізували успішність виконання учасниками олімпіади завдань залежно від регіону. Використовували медіанний критерій (Mood's median test), який аналізував групи даних на однорідність. У випадку однорідності, значущої різниці між виконанням тестів у різних областях не було. У випадку неоднорідності визначали найбільш успішні області. У статистиці не брали участі Київська, Луганська і Миколаївська області, у яких олімпіада за загальноукраїнським комплектом завдань не проводилася через карантин.

8 клас

Тест А: більш успішними виявилися Черкаська, Дніпропетровська, Тернопільська, Волинська, Закарпатська і Запорізька області. З тестом Б краще впоралися учні Хмельницької, Івано-Франківської, Волинської, Запорізької областей. За тестом В різниці між різними регіонами не було. Загалом за тестами А, Б і В кращі результати показали учні Волинської, Запорізької і Хмельницької областей.

Експериментальні задачі були краще розв’язані учнями Тернопільської, Харківської, Дніпропетровської, Запорізкої, Сумської і Полтавської областей.

Загалом серед учнів 8 класу кращій результат показали Запорізька, Донецька, Тернопільська, Волинська і Львівська області.

9 клас

За тестом А кращу успішність продемонстрували учні Херсонської, Тернопільської і Волинської областей. Тест Б краще подолали учні Хмельницької, Івано-Франківської, Сумської, Тернопільської і Волинської областей. Кращий результат за тестом В продемонструвала Хмельницька область. По сумі балів за тести А, Б і В кращими виявилися Тернопільська, Волинської і Хмельницька області.

Найкращий результат за виконанням експериментальних задач показали Харківська і Сумська області.

Загалом за результатами олімпіади кращі результати показали учні Сумської, Харківської і Хмельницької областей.

10 клас

За тестом А значущої різниці виявлено не було. За тестом Б кращий результат показали Івано-Франківська, Волинська, Донецька і Львівська області. З тестом В краще впоралися учні Львівської і Волинської областей. Загалом за тестами А, Б і В кращий результат показали Івано-Франківська, Волинська, Львівська області.

Кращі розв’язки експериментальних задач були у учнів АР Крим, Донецької і Івано-Франківської областей.

Загальний результат виявився більш високим у Львівській і Волинській областях.

11 клас

За тестом А кращими виявилися Донецька і Івано-Франківська області. За тестом Б лідирували учні Донецької, Тернопільської і Івано-Франківської областей. З тестом В краще впоралися учні Донецької, Сумської, Тернопільської та Івано-Франківської областей. Загальний показник тестів А, Б і В, відповідно, був більшим у учнів Донецької, Івано-Франківської, Тернопільської і Запорізької областей.

Результат розв’язку експериментальних задач виявився кращим у Сумській, Харківській і Івано-Франківській областях.

Загальний результат виконання завдань олімпіади був вищим у учнів Івано-Франківської, Донецької, Сумської, Тернопільської і Волинської областей.

В цілому, наведені результати демонструють, що відносна групова успішність у виконанні олімпіадних завдань цього року належить учням Івано-Франківської, Волинської, Тернопільської, Сумської і Донецької областей. В той же час, у нашому рейтингу кращих результатів фігурують результати 16 з 24 регіонів України.

Загальна успішність

Зрозуміло, що прямо порівнювати результати виконання тесту різних класів некоректно, оскільки у кожному з них різна кількість і якість запитань. Ми перетворили абсолютну оцінку за весь олімпіадний тест у відносну, тобто у відсоткову кількість від максимально можливого числа балів у кожному класі. Аналіз отриманого показника показав наступне.

Медіанне значення по всій вибірці становило 0.35, тобто половина учасників справилася не менше, ніж з 35% завдань. Мінімальна кількість набраних балів - 4%, максимальна - 78%.

7% учасників вирішили не більше 20% тесту
59% учасників вирішили від 20 до 40% тесту
31% учасників вирішили від 40 до 60% тесту
2% учасників вирішили більше, ніж 60% тесту

По регіонам відносно кращі результати (по всім класам) показали Донецька, Волинська, Сумська, Тернопільська і Львівська області. Загальний рейтинг був таким:
Донецька
Волинська
Сумська
Тернопільська
Львівська
Івано-Франківська
Херсонська
Хмельницька
Запорізька
Харківська
Рівненська
Черкаська
м. Київ
Вінницька
Житомирська
Чернігівська
АР Крим
Дніпропетровська
Полтавська
м. Севастополь
Закарпатська
Одеська
Чернівецька
Кіровоградська