«Большие языковые модели — это языковые модели нейронных сетей с замечательными разговорными навыками. Они генерируют человеческие ответы и участвуют в интерактивных беседах. Однако они часто генерируют очень убедительные утверждения, которые являются верифицируемыми, или дают неуместные ответы. Сегодня невозможно быть уверенным в качестве, уровне доказательности или непротиворечивости клинической информации или подтверждающих доказательств для любого ответа. Эти чат-боты являются небезопасными инструментами, когда речь идет о медицинских консультациях, и необходимо разработать новые структуры, обеспечивающие безопасность пациентов», — сказал профессор Стивен Гилберт, профессор в области регулирования медицинских устройств в Центре цифрового здравоохранения имени Эльзы Крёнер Фрезениус в Техническом университете Дрездена.
Большинство людей изучают свои симптомы в Интернете, прежде чем обращаться за медицинской помощью. Поисковые системы играют роль в процессе принятия решений. Предстоящая интеграция чат-ботов LLM в поисковые системы может повысить доверие пользователей к ответам, которые дает чат-бот, имитирующий разговор. Было продемонстрировано, что LLM могут предоставить крайне опасную информацию, когда им задают медицинские вопросы. Подход, лежащий в основе LLM, не имеет модели медицинской «основной истины», что опасно. LLM с интерфейсом чата уже давали вредные медицинские ответы и уже использовались неэтично в «экспериментах» на пациентах без их согласия.
Почти каждый вариант использования LLM в медицине требует нормативного контроля в ЕС и США. В США их отсутствие объяснимости лишает права называться «не применимо». LLM с объяснимостью, корректной предвзятостью, предсказуемостью, правильностью и поддающимися расчету результатов в настоящее время не связаны, и они не получают выгоды от приближающихся (или ожидаемых) подходов к управлению. В этой статье авторы описывают ограниченные сценарии, которые в LLM могут быть использованы на официальном уровне, они описывают, как разработчики, которые стремятся создать инструменты на основе LLM, могут быть одобрены в качестве разработки устройств, и предлагают разработку новых платформ, сохраняют безопасность пациентов.«Существующие чат-боты LLM не регулируют качество ИИ в здравоохранении, таким образом, как контроль предвзятости, объяснимость, система контроля, проверка и плотность. Чтобы занять свое место в медицинском арсенале,
