Cross-check

Cross-check - взаимопроверка студентами работ друг друга на основании предложенных критериев.

Процесс

Шаг #1 Отправка работы на проверку

Для этого необходимо зайти в RS App и перейти во вкладку Cross-Check: Submit. Выбрать текущее задание и в форме, в зависимости от требований задания, указать или ссылку на работающий и задеплоенный сайт, или ссылку на PR/исходный код/репозиторий в GitHub. После сабмита ссылки работу можно доделывать до самого дедлайна. Ссылку можно сабмитить несколько раз - сохраняется последняя. Все, кто вовремя не предоставили свою работу, получают 0 и не участвуют в cross-check текущего задания. Дата дедлайна указана в расписании.

Шаг #2. Генерация пар

После дедлайна по отправке работ будут созданы пары для проверки задания. Каждому студенту необходимимо проверить все работы других студентов, попавшие на проверку (количество и прогресс проверок можно посмотреть во вкладке Dashboard в блоке Cross-check [Review]).

Шаг #3 Проверка работ друг друга

Все, кто отправили работы на проверку,проверяют работы друг друга. Для этого необходимо зайти в RS App и перейти во вкладку Cross-Check: Review.

Как проверять:

Выбрать текущее задание.
Выбрать студента.
После выбора студента, под его именем должна появиться ссылка на работу. Если ссылка битая, пожалуйста, свяжитесь со студентом и попросите его предоставить корректную ссылку.
Проверить работу в соответствии с критериями проверки, указанными в задании.
Выставить оценку в форму.
Оставить комментарий, почему получилась такая оценка.
Отправить форму.
После отправки формы можно переходить к проверке следующей работы пока все, попавшие на проверку работы, не будут проверены и оценены.

Для просмотра своей истории проверок необходимо зайти в RS App, перейти во вкладку Cross-Check: Review, выбрать интересующую работу и проверяемого, после чего справа отобразится история проверки и переписка с проверяемым.

Шаг #4 Получение оценки и комментариев

Оценка за кросс-чек — среднее между оценками всех проверивших вашу работу. Если вас проверили все студенты, то наименьшая оценка отбрасывается, выставляется среднее между оставшимися оценками. Если вы получили меньше оценок, чем предполагалось в текущем кросс-чеке, то при выставлении средней оценки будут учитываться все полученные оценки.

Например: В текущем кросс-чеке были сгенерированны 4 пары. Если вас проверили 4 человека, то наименьшая оценка не будет учитываться, и в зачёт пойдёт средний балл между остальными 3 оценками. Если вы получили менее 4 оценок - они все будут учитываться при выставлении среднего балла.

Для того, чтобы посмотреть оценки и комментарии других студентов по своей работе, необходимо зайти в RS App, перейти во вкладку Cross-Check: Submit и выбрать интересующую работу. Если она была проверена, ниже отобразятся выставленные оценки, каждая из которых состоит из github-name проверяющего (если при проверке была включена соответствующая опция), итоговый балл и комментарий (если был оставлен проверяющим).

Если вы проверили не все работы, из распределеных вам работ других студентов, до наступления дедлайна по кроссчеку, то ваша оценка за работу будет 0 баллов.

Качество проверки работы при cross-check

Задача кросс-чека не только проверить работы других студентов и выставить за них оценки, но и вынести из этой проверки что-то ценное для себя, принести пользу тем, чьи работы вы проверяете. При проверке старайтесь придерживаться следующих правил:

если вам на проверку попала качественно выполненная работа, напишите об этом автору, поделитесь с ним своими впечатлениями от работы;
если считаете, что проверяемая вами работа достойна внимания других студентов, добавьте ссылку на неё в форму для лучших работ. Также в форму для лучших работ можно добавить ссылку на свою собственную работу, если считаете что выполнили её на очень высоком уровне;
если видите недостатки в проверяемом вами проекте, не ограничивайтесь их перечислением, посоветуйте автору работы, как можно было их избежать, как исправить выявленные ошибки;
если проверяющий вашу работу студент оставил развёрнутый комментарий с советами по улучшению вашего приложения, если проверка была проведена очень качественно и оказалась полезной для вас, поблагодарить проверяющего можно через RS App. Обратите внимание, благодарить следует не за высокие баллы, а за ценные комментарии и советы.
наиболее полезными комментариями, полученными в ходе кросс-чека, можно поделиться в дискорде в канале #crosscheck (контакты проверяющего должны быть скрыты).

Принцип оценки работы при cross-check проверке

Если вы считаете, что пункт сделан в полном объёме - выставляем 100% количество баллов
Если в пункте есть отклонения, которые явно не являются фичей - ставим часть баллов, пропорционально серьёзности отклонения.
Пункт не выполнен вовсе - 0 баллов
Если пункт подразумевает собой некое неделимое действие - выставляем либо 100% баллов, либо 0
При наличии некритичных неточностей оценка выставляется в пользу студента.
Если вы ставите не максимально возможное количество баллов проверяемой работе, то будьте взаимовежливы и
- оставляйте развернутый комментарий, за что вы снижаете оценку с баллом, который вы поставили
- проверяйте переписку с проверяемым в RS App, чтобы проверяемый имел шанс объяснить свое решение и возможность изменить вашу оценку, если вы что-то упустили либо не учли
- вы всегда можете отправить новую оценку до дедлайна проверки с комментарием почему вы изменили свое решение
Если вы считаете, что работа, которая попала к вам на проверку, списана, необходимо:
- сообщить модератору курса или RSS AI (личным сообщением)
- оценить работу согласно всем требованиям, невзирая на подозрение

Уважаемые студенты, оставайтесь людьми при общении. Случаи неадекватного общения в личке либо чатах (агрессия, маты, оскорбления, переход на личности, сексизм и т.д., и т.п.) будут строго пресекаться администрацией, при предоставлении скринов таких случаев или иных доказательств, вплоть до полного отстранения нарушителей от обучения в RS School (вне зависимости от степени объективности оценки работ).

Ответственность за некачественное проведение cross-check проверки

Некачественное проведение проверки включает в себя:

Занижение баллов без поясняющего комментария
Занижение баллов с комментарием, не описывающим конкретное снижение
Занижение баллов с комментарием по причинам, которые не оцениваются в задании
Отсутствие проверки как таковой при выставленной оценке
Завышение балла

Админы могут проверять оценки, выставленные в ходе кросс-чека (админам видны гитхабы анонимных проверяющих). Тех кросс-чекеров, кто проводит некачественные проверки, ждет:

В первый раз - предупреждение в канале #moderation и обнуление баллов за таск.
Во второй раз - отчисление.

Использование специальных форм для проверки работ

Для удобства проверки всех необходимых критериев и учета (подсчета) итоговой оценки, для каждого задания существуют специальные формы, с помощью которых можно:

Получить оценку за работу, отметив полноту выполнения соответствующих требований.
Сформировать и получить полный комментарий по работе вида:

Общий балл
Перечень полностью невыполненных требований (с комментарием по каждому, если есть)
Перечень частично выполненных требований (с комментарием по каждому, если есть)
Перечень полностью выполненных требований (с комментарием по каждому, если есть)

Правила общения в Discord канале cross-check:

Если вы считаете, что выставленная проверяющим оценка является ошибочной, и хотите убедиться так ли это, вы можете сделать это в канале #cross-check.

Ваше сообщение должно содержать:

Ссылку на вашу работу
Вашу самооценку по спорным пунктам.
Оценку выставленную проверяющим и его фидбэк.

Благодаря этому находящиеся в чате сокурсники могут помочь вам заметить ошибку в случае если она действительно существует, либо подтвердить вашу точку зрения.

Сообщения в канале #cross-check должны быть направлены на обсуждение работ и в частности конкретных пунктов реализации задачи, а не проверяющих или же проверяемых.

Апелляция

Производится только при наличии активистов, желающих драйвить процесс.
Производится только если вы не вносили изменения в свою работу после дедлайна.
Производится только после проведения всех проверок вашей работы и завершения шага #4 (см. выше).
Производится только если ожидаемый вами балл и полученный по результатам шага #4 средний балл отличаются на 10 и более процентов от максимального балла за задание.
Оценка может быть, как понижена, так и повышена без дальнейшего обсуждения.
В случае, когда полученная во время апелляции оценка отличается от оценки, полученной в шаге #4, менее чем на 10%, итоговая оценка повышаться не будет.

Для подачи апелляции:

Дожидаемся окончания проведения всех проверок вашей работы и завершения шага #4 (см. выше). Проверяем соблюдены ли все критерии, чтобы производилась апелляция (см. выше).
Создаём новый issue. Называем его по шаблону: Cross-Check 'название таска' - 'Ваше имя на Github'.
Заполняем issue по следующему шаблону (если issue назван или заполнен некорректно - обрабатываться он не будет):
- Ссылка на деплой вашего проекта.
- Ссылка на репозиторий с проектом на GitHub.
- Ссылка на задание.
- Ссылка на форму для проверки проекта (если такая есть).
- Скриншот с оценками за cross-check (контакты проверяющих должны быть скрыты).
- Оценка в результате самопроверки с ее аргументацией.
- Балл за cross-check из вашего Score.

Процесс рассмотрения апелляции

Процесс начинается после дедлайна по cross-check.
На валидные issue вешается отметка "help wanted" (Labels > "help wanted").
Свободный активист выбирает issue.
Активист вешает на выбранное issue отметку "review started" (Labels > "review started").
Активист проводит проверку работы в соответствии с критериями, указанными в задании. Оставляет свои комментарии и оценку. Все видят, всё прозрачно.
Активист вешает отметку "review completed" (Labels > "review completed").
Активист отмечает в комментарии к issue тренера, который проводил выдачу таска.
Тренер сабмитает оценку в RS APP.
Оценка заменяет собой текущую оценку в Score.

Правило хорошего тона

После рассмотрения апелляции не забудьте написать спасибо активисту. Желательно использовать функцию RS App Gratitude.

Жалоба

Рассматривается только при наличии свободного времени у администраторов и RSS AI.
Подается только после завершения кросс-чека.
Используется только для того, чтобы сообщать о недобросовестных проверяющих.
Перед подачей жалобы рекомендуется связаться с проверяющим и попытаться сначала обсудить результаты проверки, аргументируя свою позицию.
Отозвать жалобу нельзя.
Студента, подавшего жалобу, не уведомляют о результатах рассмотрения жалобы.
Если жалоба была одобрена, то студент, на которого пожаловались, получит предупреждение. Повторное предупреждение - отчисление.
Даже после удовлетворения жалобы оценка, полученная в результате кросс-чека, остается неизменной.

Для подачи жалобы:

Дожидаемся окончания кросс-чека.
Заполняем форму для жалоб, где обязательно указываем:
- Ваш точный ник гитхаба (не ссылка).
- Название задания.
- Балл от проверяющего.
- Ваш комментарий по жалобе.

Жалобы, поданные до окончания кросс-чека или заполненные некорректно, рассматриваться не будут.

Почему Cross-check?

Достоинства

проверка всех студенческих работ в установленные сроки
100% понимание, сколько именно студентов выполнили таск
95% студентов проверяют работы тщательно. Ответственные студенты оставляют ценные комментарии по результатам проверки
отличный способ проверки заданий по верстке
кросс-чек позволяет сравнить свою работу с работами других людей, понимать свой уровень по сравнению с другими
возможность посмотреть, как разные люди подходят к выполнению одного и того же задания
оценивание работ учит вчитываться в техзадание
студенты учатся проверять работы, что особенно актуально, так как многие из них вернутся в RS School менторами
возможность посмотреть на приложение с точки зрения пользователя, узнать о своей работе что-то новое, например, поведение, которое не проверял
более внимательно читаешь требования к заданию, когда знаешь, что другой студент будет смотреть работу, ответственнее относишься к её реализации
практические навыки тестирования приложений, которые в будущем можно применять для отладки собственных проектов

Недостатки

оценивание работ не всегда бывает объективным
не все ответственно относятся к проверке. Кто-то писал несколько строчек, а кто-то расписывал несколько листов
на проверку уходит много времени
нужны чёткие критерии оценки