През последните години многобройни статии цитират проучвания за възможностите на изкуствения интелект (ИИ) да се справи с по-добре от лекарите при разчитане на рентгенови снимки и томографски изображения. Но ново проучване, публикувано от британското медицинско списаниеBMJ, предполага, че много от тези изследвания са погрешни или преувеличават ефективността им.
Какво показват тестовете?
Екипът от специалисти в лондонския Институт Alan Turing е проучил извадка от над 7000 проучвания, които са сравнявали производителността на изкуствен интелект с тази на лекарите, за да оцени методите, риска от пристрастно мнение и спазването на стандартите за научен доклад.
От тази извадка изследователите твърдят, че повече от две трети от проучванията имат проблеми с дизайна, които засилват риска от предубедени резултати. Те са засекли и тенденция за надценяване на действителните резултати в резюметата, пишат авторите на доклада. От групата от 3335 записа в проучванията изследователите са открили само две рандомизирани клинични изпитвания, които отговарят на критериите им за допустимост.
По-притеснителният извод обаче е, че изследователите са открили сравнително малко проучвания, оценяващи ефективността на задълбоченото обучение, което се превърна в основна технология през 2014 г. Това означава, че големите технологични компании продължават да налагат на пазара решения, без да следват пътя на клиничните доказателства, които да ръководят тяхното развитие. „Открихме само едно рандомизирано проучване, регистрирано в САЩ, въпреки че американската Администрация по храните и лекарствата FDA е одобрила маркетинга на поне 16 алгоритми за дълбоко обучение за медицински изображения“, пишат авторите.
Големите корпорации
Още през миналата година Google обяви, че ще патентова свое собствено електронно здравно досие, което ще събира медицински данни и ще прилага машинно обучение за предвиждане на клинични резултати. Сред изобретателите бяха посочени над 20 служители на Google, повечето от поделението за изкуствен интелект Google Brain, включително шефът му Джефри Дийн.
От 81 нерандомизирани проучвания, които отговарят на критериите на изследователите, само девет са проспективни, а само шест са базирани на реални тестове. Въпреки по-голямата вероятност за пристрастни мнения и обърквания, авторите посочват, че ретроспективните проучвания обикновено се цитират в известията на FDA за одобрение за ИИ алгоритми. „Осигуряването на справедливо сравнение между ИИ и клиничните специалисти цистите да се направи най-добре при рандомизирани клинични (или поне в проспективни ) условия“, пишат авторите.
Те отбелязват и проблеми с описанията и дизайна на проучванията. Много изследвания предоставят само неясни описания на хардуера, който използват, а това затруднява възпроизвеждането на резултатите. Авторите са открили и няколко проучвания, при които се разчита на мнението на шепа експерти, с които се сравнява за сравнение зи в своята група за сравнение с хора. Те предполагат, че средната извадка от само четирима експерти накланя везните в полза на алгоритми за ИИ, тъй като включването на неекспертен клиничен персонал може да намали средната ефективност на хората в сравнение с алгоритмите за изкуствен интелект.
Други проучвания
Не на последно място, няколко проучвания посочват в своите резюмета предполагат сравнима или по-добра диагностика от страна на изкуствения интелект в сравнение с клиничните специалист, но този извод не е подкрепен от резултатите. Нито едно от 23-те проучвания, които твърдят, че са постигнати по-добра на алгоритмите за ИИ, не се споменава за необходимост от по-нататъшни проспективни тестове, които да подкрепят изводите.
За да се подобри качеството на бъдещите проучвания, авторите препоръчват разработване и следване на набор от най-добри практики за дизайн и прозрачност. Неспазването им в крайна сметка може да навреди на пациентите. „Свърхобещанията генерират свръхочаквания, а това може да означава, че някои проучвания могат по невнимание да подведат медиите и обществеността и потенциално да доведат до предоставяне на неподходящи грижи за пациентите“, допълват те.
