Нейросеть, анализирующая таблицы: откуда взялся спад
Нейросеть, анализирующая таблицы: разбор отчёта, где оба потока стали успешнее, а общий итог упал. Как проверить состав групп, расчёты и смысл вывода.
Андрей
Преподаватель, научный редактор
10 мин чтения
В обоих потоках выросла доля успешных работ, а в сводке появился спад на 15 процентных пунктов. Я уже собирался объяснять, почему субботние занятия стали хуже. Потом заметил столбец с количеством участников. Нейросеть, анализирующая таблицы, помогла разобрать вычисления, но сначала пришлось признать: один общий процент отвечал совсем не на тот вопрос, который я собирался обсуждать с коллегами.
Две субботы, после которых я не хотел отправлять отчёт
Мы проводим открытые занятия: можно записаться на утро или на вечер. Состав не закреплён. На первой субботе основная часть участников пришла утром, на второй люди выбрали вечер. В конце каждого занятия есть самостоятельная работа. Для отчёта я записываю, сколько человек выполнило её по принятому критерию. Ничего необычного, пока не соединяешь все строки в один итог.
На первой встрече справились 31 человек из 40. На второй тоже было сорок участников, но успешных работ оказалось двадцать пять. Я сделал то, что обычно делаю при подготовке короткой сводки: посчитал общий процент и написал про снижение. Две строки. Удобно читать. Только объяснение к ним я чуть не сочинил раньше, чем посмотрел на распределение людей.
«А что внутри потоков?» — спросила коллега. Я открыл подробную таблицу. Утром было 90%, стало 100%. Вечером было 40%, стало 50%. Улучшились оба. Мне на секунду показалось, что в формуле потерялась строка: куда же делось улучшение? Проверил суммы ещё раз. Строки на месте, сорок участников в каждой сводке тоже на месте.
Вот весь материал, из-за которого возник спор. «Справились» здесь означает выполнение одной итоговой работы; это не оценка всего обучения человека.
Если смотришь только на последний столбец, хочется написать про рост на десять пунктов. Если считаешь всех людей вместе, получится снижение. Оба расчёта можно выполнить правильно. Ошибка начинается, когда незаметно меняешь вопрос и оставляешь старое название показателя. Я как раз собирался это сделать.
Нейросеть, анализирующая таблицы, и разные веса потоков
Сначала разберём итог без всякого сервиса. Первая суббота: 27 плюс 4, делённые на 30 плюс 10. Получается 31/40, то есть 77,5%. Вторая: 10 плюс 15, делённые на 10 плюс 30. Получается 25/40, или 62,5%. Разница составляет минус 15 процентных пунктов. Пока мы просто считаем долю успешных работ среди всех участников каждой встречи.
Кто вошёл в эти сорок? На первой встрече три четверти участников были в утреннем потоке, где доля справившихся выше. На второй три четверти оказались в вечернем потоке, где доля ниже. Общий показатель сильнее зависит от той группы, в которой больше людей. Это и есть её вес в расчёте. Само слово знать необязательно; количество людей всё равно участвует в формуле.
Я попробовал привычное среднее двух процентов: сложить утренний и вечерний, затем разделить пополам. Для первой субботы получилось 65%, для второй 75%. Вот он, ожидаемый рост. Но это среднее по двум потокам с одинаковым весом каждого. В нём утро из тридцати человек влияет на результат ровно настолько же, насколько вечер из десяти. Называть такое число долей всех участников неверно.
Мне помог вопрос: «Кого я считаю по одному?» Для общей доли ответ — каждого участника. Для среднего по потокам — каждый поток. После такого уточнения спор о правильной формуле закончился. Нельзя выбрать между 77,5% и 65% по приятности результата. Сначала надо решить, чью долю ты описываешь и какое действие собираешься обосновать этим числом.
Это не особенность учебных таблиц. В общем показателе могут смешаться разные классы или форматы занятий. Но я бы не начинал искать скрытые группы в каждом файле подряд. Сначала достаточно увидеть разумное различие, которое уже есть в данных и связано с твоим вопросом. У нас это время занятия и меняющееся число участников, а не случайный цвет строки.
Нейросеть, анализирующая таблицы: мой запрос
Запрос «проанализируй и сделай выводы» оставляет слишком много работы на усмотрение чата. Можно получить длинное объяснение спада и ни слова о том, какую долю считали. Мне нужно другое: вычисления по четырём строкам, объяснение сочетания показателей и аккуратный текст для отчёта. В LibraChat я передал количества, а не только уже рассчитанные проценты.
Запрос выглядел так:
У преподавателя два открытых потока занятий: утренний и вечерний. Первая суббота: утром справились 27 из 30 участников, вечером 4 из 10. Вторая суббота: утром 10 из 10, вечером 15 из 30. Рассчитай доли справившихся в каждом потоке и общий итог каждой субботы. Объясни, как одновременно мог вырасти показатель каждого потока и снизиться общий. Подготовь короткое пояснение для отчёта без вывода о причинах изменения качества преподавания. Назови сведения, которых не хватает для такого причинного вывода. Покажи вычисления и различай проценты и процентные пункты.
В ответе LibraChat сразу обозначил расхождение:
У каждого потока доля справившихся выросла на 10 процентных пунктов, а общий итог снизился на 15 процентных пунктов: с 77,5% до 62,5%. Это эффект состава групп, а не вывод о качестве преподавания.
Дальше были доли по потокам, вычисления общего итога и объяснение весов. Сначала я проверил дроби. 31/40 и 25/40. Затем отдельно сверил, что доля утреннего потока изменилась с 75% всех участников до 25%. Мне нужен был не просто совпавший итог. Было важно, что ответ сохранил связь между размером потока и его вкладом в общий процент.
Попробуй разобрать эти четыре строки в LibraChat, а потом подставь своё распределение. Убери из материала имена учащихся: для такого расчёта хватает количества участников и результатов. Если передаёшь файл, оставь нужные столбцы и поясни, что означает строка. Чат разбирает прикреплённые таблицы, но название листа «Итоги» само по себе не объясняет способ подсчёта.
Самый опасный вывод остался бы даже после верного расчёта
Обнаружив смену состава, я захотел исправить сводку на противоположную: «В каждом потоке качество занятий выросло». И снова поторопился. Таблица показывает доли выполненных работ. Она не устанавливает, что изменила именно моя работа преподавателя. На занятия могли прийти другие люди; задания могли отличаться; условия проверки тоже нужно сопоставить. Четырёх строк мало.
LibraChat перечислил эти недостающие сведения в ответе. Для меня это оказалось полезнее готовой гладкой формулировки. Теперь было понятно, какие вопросы адресовать коллегам, а какие цифры уже можно перенести в документ. Разница существенная. Сообщить наблюдение можно сразу, а объяснять причину на его основании пока рано. Нейросеть, анализирующая таблицы, не отменяет этого разделения.
Перед следующим сравнением я выписал вопросы:
Один и тот же критерий определяет, кто справился на обеих встречах?
Задания сопоставимы по сложности и объёму?
Участники те же или запись каждый раз открывается заново?
Известно ли что-нибудь об их подготовке до занятия?
Мы оцениваем результат встречи, отдельного потока или конкретных людей?
Есть и масштаб маленькой группы. Когда утром пришло десять человек, одна дополнительная неудачная работа изменила бы утреннюю долю на десять процентных пунктов. Это не делает наблюдение бесполезным. Но я бы не описывал разницу как устойчивую закономерность после единственной пары встреч. Особенно если на её основании собираются менять программу или объявлять один формат занятий неудачным.
Три вопроса, три разных фразы в отчёте
Для короткой сводки я сохранил фактическую общую долю: на второй встрече справилась меньшая часть пришедших. Организатору это нужно знать, если он, например, планирует дополнительные разборы работ. Было бы странно скрывать эту нагрузку за ростом среднего по потокам. Реальный общий итог не становится ненужным только потому, что он не отвечает на вопрос о преподавании.
Для обсуждения потоков я добавил их отдельные показатели и численность. Получилась другая фраза: в каждом потоке доля справившихся увеличилась на десять пунктов, а состав общей аудитории изменился. Так читатель видит и локальное изменение, и причину того, почему общая доля ведёт себя иначе. В документе остаются оба наблюдения, вместо того чтобы одно вытеснило другое.
А для разговора об эффекте занятий понадобился бы другой сбор данных. Нужно заранее договориться, кого и по какому основанию сравнивают. Если нас интересует изменение результата конкретного человека, агрегированные количества по открытым потокам не заменят его сопоставимые работы. И даже такая пара работ сама по себе не устраняет все возможные объяснения изменения. Я бы обсуждал план оценки до следующего набора, а не после получения удобного процента.
В отчёт я в итоге вынес короткое пояснение своими словами: «Общая доля выполненных работ снизилась с 77,5% до 62,5%. При этом внутри утреннего и вечернего потоков она выросла на десять процентных пунктов. Во вторую субботу большинство участников пришли вечером, где наблюдаемая доля была ниже». Здесь нет обещания, что занятия стали лучше или хуже. Зато каждую часть можно проверить по четырём строкам.
Если файл большой, сначала полезно разобраться с устройством таблицы: что записано в строке, какие столбцы относятся к одному периоду, где стоит общий итог. Иначе есть риск дважды прибавить промежуточную сумму или соединить показатели разных встреч. Я не прошу чат самостоятельно угадывать, какие записи организатор считает участием. Такое правило должно быть известно до анализа.
Я оставил себе проверку с неподвижным составом
После этого разбора я сделал ещё одно действие: мысленно вернул второй субботе прежнее соотношение потоков. Если бы утро по-прежнему составляло 75% аудитории, а вечер 25%, при новых долях успешности общий показатель оказался бы 87,5%: 0,75 × 100% плюс 0,25 × 50%. Это расчёт при заданном составе, а не ещё одна проведённая встреча. Он показывает, что именно меняется при смене весов.
Такое число нельзя тихо подставить вместо фактических 62,5%. У него другое назначение: помочь рассмотреть результаты при фиксированном распределении участников. Мне нравится сохранять этот расчёт рядом с исходным, с ясной подписью о принятом составе. Тогда на обсуждении не приходится выяснять, откуда появился новый процент и почему он не совпадает с подсчитанными работами.
Теперь я принимаю разбор таблицы в таком порядке:
Называю наблюдаемое событие и всех, кто входит в знаменатель.
Проверяю общую долю по исходным количествам, без усреднения готовых процентов.
Смотрю, одинаково ли распределены участники между сопоставимыми группами.
Разделяю факт, расчёт при выбранных весах и предположение о причине.
Если для своей задачи ты загружаешь книгу с несколькими листами, условия анализа файлов лучше уточнить до подготовки большой выгрузки. А первый вопрос к результату не зависит от размера книги: какое решение ты собирался принять по этому проценту? В моём случае ответ остановил поспешный разговор о качестве занятий и вернул нас к устройству сравнения.
Возьми вторую субботу из таблицы и оставь обе доли прежними, но поменяй местами размеры потоков. Общий процент изменится, хотя внутри потоков ничего не произошло. Если можешь объяснить это коллеге без фразы «таблица ошиблась», у тебя уже есть хороший способ проверить следующий автоматический вывод.
