Конкурс MedSoft на лучшие медицинские компьютерные системы

Одна из главных задач АРМИТ и проводимых ассоциацией форумов MedSoft – выработка прозрачных и проверяемых критериев оценки медицинских компьютерных систем (МКС). На MedSoft-2015 мы планируем проводить конкурс, как минимум, 4-м номинациям:

системы комплексной информатизации медицинских организаций (КМИС),
системы для решения задач профилактики, диспансеризации, скрининга (МИС-профилактика),
лабораторные информационные системы (ЛИС),
системы передачи и архивирования изображений (PACS).

Определение победителей на конкурсе MedSoft-2015 будет максимально объективным:

Оценивать разработки будут Экспертные комиссии (ЭК), которые создаются для каждой номинации конкурса, а не в единственном числе на все случаи жизни. ЭК будут состоять из представителей организаций-разработчиков - участников конкурса и независимых экспертов, являющихся признанными авторитетами и профессионалами в своей области – представителей здравоохранения, науки и т.д.
Оценки экспертами выставляются не на основании общих впечатлений и расплывчатых предпочтений, а на основании предварительно сформулированных требований к данному классу систем - конкретных и проверяемых.

Технология определения победителей конкурса на лучшую МКС

Подготовительный этап.

Создаются новые или корректируются существующие анкеты для проведения конкурсов
Формируются «Экспертные комиссии» (ЭК) для каждой номинации, в которые включаются представители фирм (организаций)-разработчиков (по одному от фирмы) и независимые эксперты – представители здравоохранения, науки и т.д.

1-й тур. Отборочный.

На данном этапе

Формируется список участников конкурса. Компании, желающие принять в участие в конкурсе, должны заполнить и прислать на адрес info@armit.ru. Заявку на участие в конкурсе и анкету конкурсанта, включающую информацию о представляемой системе.
К заполненной анкете заявитель должен приложить копию регистрационных и правоустанавливающих документов на МИС, представляемую на конкурс. Данный документ должен подтверждать, что именно заявитель является правообладателем представленной разработки. Чаще всего - это должно быть «Свидетельство о государственной регистрации программ для ЭВМ», выданное Федеральной службой по интеллектуальной собственности. В случае, если по каким-то причинам такой документ не может быть предоставлен, может быть приложена копия лицензионного договора, устанавливающего право распространения и представления системы на территории Российской федерации.
ЭК рассматривает поданные анкеты и выносит заключение о возможности допуска конкурсанта во 2-й тур.
Конкурсанты, являющиеся призерами конкурса по данной номинации в 2013 и 2014 г.г., допускаются во 2-й тур без предварительного рассмотрения анкет ЭК (см. предыдущий пункт).

2-й тур. Обход стендов участников конкурса экспертной комиссией. Выбор финалистов

ЭК обходит стенды участников конкурса (до 20 минут на стенд). Каждый член ЭК на основе анкеты участника и личного изучения системы выставляет оценки по 5-бальной шкале по всем установленным критериям (функционал, интерфейс, документация на систему, организация обучения и др.), предусмотренным «Протоколом оценки информационной системы». После этого вычисляется Оценка эксперта, равная сумме значений критериев, умноженных на веса соответствующих критериев.
Итоговая Оценка 2-го тура определяется путем суммирования среднего значения оценок экспертов (по всем экспертам).
Трое участников, набравших максимальный результат, переходят в 3-й тур.
Кроме того рассчитываются средние значения по всем критериям, что позволяет определить победителей по каждому отдельно взятому критерию (например, за лучший интерфейс).

3-й тур. Финал: итоговые дебаты и определение победителей

На данном этапе финалисты в краткой форме рассказывают о своей системе и отвечают на вопросы аудитории и экспертов:

Дебаты финалистов проводится гласно и прозрачно: в конференц-зале при полном стечении всех желающих
На дебатах организацию-финалиста могут представлять до двух человек
Представители организаций-финалистов в 5-минутных выступлениях кратко рассказывают об «изюминках» своей МИС, о том, чем она отличается от других МИС; т.е. пытаются объяснить, чем их МИС лучше, чем другие
Вопросы представителям в этом туре могут задавать, как члены ЭК, так и зрители
Для повышения объективности на этом этапе из ЭК исключаются представители организаций-финалистов
После этого члены ЭК выставляют свои оценки за 3-й тур (по 5-ти бальной системе), которые с учетом веса данного критерия суммируются с баллами, набранными участниками во 2-м туре.

Победители в каждой номинации получают дипломы и призы MedSoft в зависимости от числа конкурсантов:

При числе конкурсантов 7 и более:

В 3-й тур выходят три претендента, набравшие наибольшее число баллов во 2-м туре
Победителям вручаются «Золотой MedSoft» и два «Серебряный MedSoft»

При числе конкурсантов 4-6:

В 3-й тур выходят три претендента, набравшие наибольшее число баллов во 2-м туре
Победителям вручаются «Золотой MedSoft» и один «Серебряный MedSoft»

При числе конкурсантов 1-3:

Победитель определяется по схеме, аналогичной выше приведенной, но несколько более простой: методом суммирования оценок членов ЭК во 2-м туре и значения рейтинга MedSoft.
Победителю вручается «Золотой MedSoft»

С 2015 г. помимо победителей (призеров) конкурса вводится звание «Дипломант конкурса» – конкурсант, не ставший призером конкурса, но набравший во 2-м туре не менее определенного количества баллов (значение которого определяется ЭК на подготовительном этапе) по каждому из критериев (K1-K5 - см. прил. 3). Дипломант конкурса награждается соответствующим дипломом.

Для чего это сделано?

Появляется функция квалификации. Спортивная аналогия: есть победители соревнований, и есть спортсмены, выполнившие определенные нормативы (например, мастера спорта).
Повышается привлекательность участия в конкурсах. Значительно расширяется число потенциальных участников конкурса, имеющих разработки достаточно высокого качества, но не всегда рассчитывающих на возможность занять призовое место.

Возможно, предлагаемая нами технология не идеальна и 100-процентного ее одобрения мы не получим никогда: всегда кто-то чем-то будет недоволен. Ждем Ваши КОНКРЕТНЫЕ замечания и предложения. Не исключено, что на следующий год совместными усилиями придумаем что-то еще более удачное.

Совместными усилиями предстоит доработать анкеты конкурсантов по всем номинациям (см. выше), что является самой трудной задачей подготовки к проведению конкурсов. Но, если мы сможем с ней справиться, то это будет важнейший шаг в направлении наведения порядка в нашей отрасли, и авторитет конкурса будет действительно высоким.

Михаил Эльянов
Президент АРМИТ