Оценка качества научных исследований для использования их при принятии клинических решений

• Вступление
• Оценка достоверности доказательств исследований
• Формы предвзятости в исследованиях
• Заключение

Вступление

Принцип доказательной медицины заключается, в частности, в таком способе принятия клинических решений, при котором задействуется наилучшее имеющееся доказательство, сочетанное с опытом врача и предпочтениями пациента; при это ожидается, что принятое решение послужит на благо последнего [1]. На рисунке продемонстрирована эта концепция, соединяющая три вышеназванных ключевых фактора. Исследования показывают, по крайней мере в медицине, что использование доказательной базы, как правило, улучшает качество жизни пациента в большей степени, нежели принятие решений без поиска наилучшего доказательства [2].

Три ключевых фактора, влияющих на принятие клинического решения

Оптометристам – индивидуально или в совместно с офтальмологом – необходимо принимать решения, которые оказывают важное влияние на зрение пациента и качество его жизни. Интеграция доказательной медицины в практику оптометриста – это важный шаг, который в настоящее время предпринимают многие в нашей профессии. Знание доказательной медицины порой уже просто необходимо – в частности, для получения лицензии оптометриста в Великобритании [3]; кроме того, соответствующие ассоциации выпускают клинические руководства для оптометристов, выработанные на основании этого подхода к принятию решений [4].

Доказательная медицина подразумевает, что используется наилучшее имеющееся доказательство при принятии клинических решений: о перенаправлении пациента к профильному специалисту, о назначении терапии, о выписке рецепта или об отсутствии необходимости профессиональной медпомощи. В контексте доказательной медицины наилучшим доказательством считается наиболее достоверное исследование. Однако на каждое клиническое решение не всегда имеется подходящее исследование, поэтому при его принятии приходится анализировать несколько источников данных по проблеме.

Существует связь между понятиями «наилучшее имеющееся доказательство» и «опыт и компетенции специалиста». Последний самостоятельно ищет такое доказательство, и когда он его находит и читает соответствующее исследование, это становится частью его опыта и компетенций, при этом остается возможность их обновления в будущем.

При принятии решений оптометристы используют различные источники получения информации, например профессиональное и дополнительное образование, чтение профильных журналов и знакомство с данными, предоставляемыми компаниями-производителями [5, 6]. Возникает важный вопрос: предоставляют ли эти источники достоверные доказательства? Наилучшее доказательство – наиболее достоверное доказательство, а это определяется степенью содержащихся в нем ошибок. Логично ожидать, что на протяжении нескольких лет после получения диплома об образовании специалист будет замещать полученные в учебном заведении знания данными новейших исследований.

Например, до последнего времени большинство выпускников по специальности «оптометрист» считали, что амблиопия не поддается лечению после достижения ребенком 10-летнего возраста, тем не менее недавние исследования подвергли сомнению это распространенное убеждение [7]. Информация, предоставляемая на конференциях или на страницах профессиональных журналов, может суммировать данные исследований и служить обновлением базы знаний оптометриста, но вот достоверность информации может оставаться невыясненной до тех пор, пока не будут освещены детали ее получения.

Специалисту приходится оценивать качество информации с тем, чтобы найти то самое «наилучшее имеющееся доказательство» и ориентироваться именно на него при принятии решений. Для принятия решений по широкому ряду клинических случаев в оптометрической практике имеются соответствующие научные исследования, а для некоторых ситуаций – их нет. Например, вопрос, является ли коррекция рефракционной ошибки без привлечения других методов эффективной терапией амблиопии у детей, вполне может возникнуть в процессе работы, и специалист может столкнуться с тем, что походящих научных исследований практически не существует. В таком случае оптометристу необходимо принимать решения на основании не исследований, а своих знаний, опыта, а также потребностей и пожеланий пациента [8]. Далее в статье мы сосредоточим внимание на оценке достоверности доказательств исследований, выявим факторы, которые влияют на их достоверность и возможность использования в практике принятия решений.

Оценка достоверности доказательств исследований

Публикации результатов исследований доступны в научной литературе, они организуются по разным дизайнам, среди них бывают и исследования на основе анализа клинических случаев (case study), и рандомизированные контролируемые, и просто обзоры и т. п. Доказательства, которые приводятся в исследовании, можно классифицировать по их «уровню» как индикатору того, до какой степени они заслуживают доверия. Мы свели в таблице разные дизайны исследований и их характеристики. Исследования нижнего «уровня» – это, как правило, разборы индивидуальных случаев из практики, в которых обсуждаются результаты лечения одного или нескольких пациентов.

Дизайны исследований и их характеристики

Дизайн	Характеристики
Систематический обзор	Обзор исследований, относящихся к клинической проблеме или вопросу, с использованием заранее определенного протокола (это необходимо для того, чтобы лица, проводящие обзор, не меняли свой подход при его написании); соответствие исследования проблеме и его качество определяются несколькими специалистами, проводящими обзор, для этого применяют специальные критерии
Рандомизированное контролируемое исследование	Участников случайным образом распределяют в две и более группы. Участникам по меньшей мере одной группы предоставляют исследуемую терапию, а участникам другой – терапию для сравнения (контрольная группа)
Когортное исследование	Наблюдение за участниками в течение некоторого времени, при этом отмечают влияние ряда факторов, например стиля жизни и исследуемых вмешательств, а также исходы (например, статус болезни)
Исследование «случай­контроль»	Две и более группы участников с исследуемым состоянием (болезнью) и без него сравнивают для выяснения факторов риска
Диагностическое исследование	Диагностический метод сравнивается с принятым в диагностике золотым стандартом в целях установления его точности, чувствительности и специфичности
Исследование на основе клинических случаев	Проводится наблюдение одного или нескольких пациентов в целях установления, например, успешности вмешательства

Исследования на основе клинических случаев вряд ли дают нам информацию, которая была бы достоверной для принятия клинических решений. Это вызвано тем, что в них принимает участие небольшое число пациентов. Оно не изучает широкий круг людей, поэтому не отражает достоверным образом различные результаты изучаемого вмешательства. Такое ранжирование можно встретить практически в любом отчете об исследовании, в котором усредненные данные приведены с помощью индикатора разброса данных вокруг точки; например, это могут быть столбцы ошибок (error bars), показывающие стандартное отклонение, доверительный интервал или другую меру, которая демонстрирует степень отклонения от средних значений.

Терапия наблюдаемого вами пациента может и не показать такого же результата, как в случае среднегостатистического пациента в исследовании, так что даже если в работе говорится о высокой эффективности (в среднем) вмешательства, это не означает, что она будет таковой для какого-либо другого человека. Это верно в отношении результатов любого исследования, но наиболее применимо для работ с небольшими выборками пациентов, которые не дают нам никаких индикаторов того, насколько вероятен обсуждаемый исход вмешательства для любого другого человека, в итоге чего достоверность такой работы для принятия клинического решения невелика.

Рандомизированное контролируемое исследование (РКИ) считается исследованием с высоким уровнем достоверности, поскольку в нем предпринимаются меры для устранения влияния личных взглядов исследователей. Во-первых, в начале работы участников случайным образом разделяют на группы. Благодаря этому в каждую группу попадает одинаковая конфигурация участников, с одной и той же вариацией возраста, пола, мотивации, личности и других факторов, которые могут влиять на исход исследования. Во-вторых, каждая группа представляет свое вмешательство, их минимум два: одно – исследуемое и одно – контрольное. Контрольное используется для сравнения, оно может вообще не быть вмешательством (отсутствие терапии) или быть плацебо; последнее не должно внешне отличаться от исследуемого, за исключением того, что в его составе нет нужного ингредиента, который, согласно проверяемой гипотезе, должен оказывать терапевтический эффект. Например, глазные капли из солевого физраствора представляют собой хорошее плацебо, которое можно использовать при изучении эффективности других глазных капель; главное, чтобы те и другие обладали одинаковым внешним видом, запахом, вызывали схожие ощущения при инстилляции. Это необходимо для того, чтобы участники обеих групп не знали, в какую группу они определены. В таком случае члены контрольной группы не будут ожидать лечебного эффекта и действовать соответственно ожидаемому. А если участники экспериментальной группы будут знать, что им дают действующий препарат, то у них может наблюдаться лечебный эффект лишь в силу того, что они его ожидают.

В тех случаях, когда участники пребывают в неведении, к какой группе они отнесены, исследование считается маскированным (или слепым), этот фактор увеличивает степень доверия к его результатам. Более того, исследование может быть двойным маскированным: в этом случае не только участники, но и исследователи не знают, к какой из групп принадлежит тот или иной человек. Маскирование очень важно для изучения таких субъективных тестов, как визометрия, определение ближней точки конвергенции, объема аккомодации и т. п., поскольку ожидания участника или исследователя могут влиять на полученные результаты.

Систематические обзоры, как правило, занимают самое высокое положение в иерархии достоверности научных исследований, а поскольку у них такой статус, важно знать, почему и в чем их отличие от других дизайнов исследований. Методы, которые используются для проведения систематических обзоров, включают в себя меры, позволяющие оградить результаты от личных предпочтений ученых; к ним, в частности, относится протокол обзора, который должен быть опубликован до начала исследования: это гарантирует, что его авторы будут придерживаться установленного порядка независимо от того, что они обнаружат в процессе исследования.

Помимо этого, не один, а сразу несколько исследователей определяют отношение к теме и качество отбираемых работ, а также составляют критерии для оценки достоверности представленной в них информации. В то время как в отсутствие такого подхода качество обзора может страдать из-за личных предпочтений ученых, поскольку критерии оценки используемых в работе исследований не зафиксированы и могут меняться в процессе, на оценки ученых может оказывать влияние их предыдущий опыт, знания, предубеждения.

Хотя уровень исследования дает первое представление о достоверности его результатов, важно помнить о том, что, даже если на первый взгляд оно заслуживает высокой степени доверия на основании дизайна, при его пристальном изучении может оказаться, что достоверность не столь высокая. Например, РКИ может быть контролируемым, но немаскированным или же сам контроль не был адекватен задачам работы. В частности, может оказаться так, что контрольная группа не может быть сравнима с группой, в которой участники получают исследуемый препарат и ожидают определенного эффекта от его применения.

Кроме того, важно понимать, что эти уровни достоверности исследований опираются отчасти на идею о том, что клиническое исследование подразумевает тестирование эффективности лечения. Во многих случаях это так и есть, но иногда исследование, имеющее отношение к нашему клиническому вопросу, может быть связано, например, с диагнозом или прогнозом. В таких случаях рандомизированное контролируемое исследование может оказаться неподходящим дизайном, а исследование низкого уровня достоверности – как раз более адекватным. Оценивать уровень достоверности нужно с учетом этого.

Уровень достоверности служит нам индикатором качества исследования, но все же он не является единственным определяющим критерием. Для того чтобы судить о достоверности результатов исследования, читающему его специалисту нужно уметь идентифицировать факторы, говорящие о предпочтениях исследователей. Факт того, что исследование может быть искаженным в сторону предпочтений ученых или иметь другие недостатки, поначалу может показаться неожиданным, ведь большинство таких статей печатается в рецензируемых журналах. Рецензирование статей подразумевает их прочтение и анализ экспертом, который сведущ в области научной проблематики исследования, он может увидеть недостатки и рекомендовать не публиковать или доработать статью. Разумно предположить, что такая система контроля должна не допускать до публикации исследования, проведенные некорректно, но на самом деле это не так, и неоднократно внимание научной общественности приковывалось к недостаткам этой системы [9]. Поэтому при чтении научных работ специалисту нужно понимать, что не все они применимы при принятии клинических решений. Давайте посмотрим, какие недостатки можно обнаружить в исследованиях в сфере оптометрии и других областях.

Формы предвзятости в исследованиях

К предвзятости в исследованиях и, как итог, к недостоверности их результатов может привести нижеследующее:

• В исследование нужно набирать таких участников, которые будут адекватно представлять изучаемую популяцию. Например, если при изучении выраженности симптомов недостатка конвергенции мы включим в исследование лишь тех пациентов, кто обращается с такими симптомами к врачу, мы вполне может недооценить или переоценить выраженность, поскольку в работу не попадут те пациенты, у которых симптомы в наличии, но они не обсуждали их с врачом (и выраженность у них ниже), а также те, которых оптометрист после осмотра направил к профильному специалисту (и соответственно, тяжесть симптомов у них больше). Это может быть источником предвзятости в том смысле, что выборка участников не адекватно представляет популяцию с изучаемым состоянием. Такая проблема может возникать тогда, когда исследователи сами отбирают участников, а не пользуются выборкой рандомизированно набранных людей.
• Важно также иметь в виду, что поведение участников исследования может подвергаться воздействию целого ряда факторов, так что работа получится не объективной, а предвзятой. Например, мы можем наблюдать вероятный эффект от терапии, но на самом деле это эффект плацебо или же ноцебо – когда участниками ожидается положительное или негативное влияние и они ведут себя в соответствии со своим ожиданием. Также можно столкнуться с эффектом Хоторна, то есть с ситуацией, когда участники ведут себя при проведении исследования не так, как вели бы в повседневной жизни [10]. Такие изменения в поведении группы неизбежно сказываются на результатах, например, визометрии или других тестов с субъективным характером.
• Еще один из вызовов, стоящих перед исследователями, заключается в том, что может происходить выбывание участников из исследования по целому ряду причин. Если большое число людей покидают какую-либо группу, это обязательно влияет на результаты всей работы, иногда достаточно лишь людей определенного типа (например, тех, на которых вмешательство оказывает негативный эффект или кто не может продержаться в группе до завершения исследования). Такой дефект исследования называется истощением выборки (attrition bias).
• Некоторые клинические исследования проводятся и (или) финансируются человеком или организацией при в ситуации конфликта интересов; например, они могут быть финансово заинтересованы в благоприятном результате исследуемого терапевтического или диагностического метода. Обычно об этом сообщается при публикации статьи (как правило, в специально отведенном в конце месте. Не забывайте поэтому обращать на такое указание внимание, поскольку это потенциальный источник предвзятости, и читатель должен понимать, что для прояснения картины ему следует обратиться к другим подобным исследованиям.
• Некоторые дефекты исследований нелегко понять из самой опубликованной статьи, тем не менее они могут присутствовать и негативно влиять на результаты. Например, в статье результаты могут быть даны селективно, то есть ученые решили почему-то опубликовать не все из них; возможно, они включили в статью только то, что поддерживает их теорию о терапевтическом эффекте вмешательства, в итоге читатель получает искаженную картину. Помимо этого, нужно помнить о том, что часто исследователи расположены публиковать те работы, в которых выявлен значительный эффект, и не печатать те, в которых он незначительный или его нет вообще. Это может привести, например, к перекосу восприятия эффективности доступных методов лечения.

Как правило, все статьи, рассматривающие результаты клинических исследований, содержат индикаторы статистической значимости, которые дают понять, до какой степени результаты демонстрируют эффект или ассоциацию. Обычно приводят одну или несколько мер или чисел, показывающих силу значимости, например t-тест, анализ вариабельности или отношение шансов.

Часто указывают значение р; это вероятность того, что результат повторится при истинности нулевой гипотезы (то есть в отсутствие эффекта). Если р меньше 5% (p < 0,05; вероятность того, что в одном случае из двадцати результат случаен), то это рассматривается как статистически значимый результат [подробнее об этом – в работе Армстронга (Armstrong) и соавт. (2011), где приведены инструкции, как указывать статистику в исследованиях по оптометрии].

Выводы ученых базируются в определенной степени на данных статистики, в частности на значении р. Однако нужно понимать, что между статистической значимостью и клинической значимостью существует различие.

Давайте рассмотрим гипотетический пример, например исследование об эффективности нового лечения возрастной макулярной дегенерации. В самом начале исследования участников разбивают на две группы, и в обеих у них примерно одинаковая степень тяжести данного заболевания. После применения лечения в первой группе и плацебо – во второй острота зрения в экспериментальной группе повысилась с 0,60 до 0,48 по шкале logMAR, а в контрольной – с 0,60 до 0,54. Возможно, улучшение является статистически значимое (p < 0,05).

Однако с точки зрения клинического специалиста уместно задать вопрос, насколько важно улучшение в абсолютных единицах, а это 0,12 по logMAR. Будет ли у пациента наблюдаться улучшение зрительных функций в таком случае? Это вопрос клинической значимости, и наверняка ответ будет в отношении разных пациентов различен, поэтому его важно выяснить, а не основывать свои решения лишь на статистической значимости.

Анализ исследований занимает время специалиста, что ограничивает их использование при клинической деятельности. Чтобы как-то упростить жизнь врачей, был создан ряд ресурсов. «Кокрановское сотрудничество» (Cochrane Collaboration) [12], в которую входит «Кокрановская группа по глазам и зрению» (Cochrane Eyes and Vision Group), предоставляет свободный доступ к базе данных, содержащей систематические обзоры по ряду клинических проблем, некоторые из них применимы к практике оптометрии.

Как уже отмечалось ранее, методы, которые используются при написании систематических обзоров, предусматривают ряд мер, призванных предотвратить предвзятость результатов. Какрановские обзоры пишутся с применением очень строгих методик и вооружают специалистов научными доказательствами с высоким уровнем достоверности в понятном формате. К сожалению, в оптометрии много клинических проблем, которые не обсуждаются ни в кокрановских обзорах, ни в других систематических обзорах.

В Великобритании оптометристам доступны основанные на доказательной медицине профессиональные руководства, в частности подготовленные Колледжом оптометристов [4], в них можно найти много достоверной основанной на доказательствах информации, которую можно применять при принятии клинических решений. Однако такие руководства описывают лишь ограниченное количество возможных клинических ситуаций, с которыми можно столкнуться на практике, поэтому личные навыки поиска и оценки данных исследований по-прежнему остаются важными.

Процесс оценки качества исследований можно упростить с помощью специальных алгоритмов, например «Инструмента критической оценки» (Critical Appraisal Tool, CAT), которые доступны бесплатно в Сети; одни из них «всеядны», другие «заточены» под конкретные дизайны исследований. Так, Программа критической оценки навыков (Critical Appraisal Skills Programme, CASP) [13] позволяет бесплатно проводить анализ достоверности и качества рандомизированных контролируемых исследований, а также исследований диагностических методов, когортных исследований и др.

Алгоритмы CAT представляют собой списки пунктов с вопросами, дающими специалисту возможность рассмотреть различные факторы, которые могут вызвать или свести к минимуму предвзятость, и на основании этого вынести вердикт, можно ли данное исследование применять для принятия клинических решений. Например, CASP CAT для РКИ содержит вопрос: «Было ли распределение пациентов по группам рандомизированным?» Ответ на него позволяет удостовериться, что распределение действительно проведено без предвзятости. В противном случае результаты, полученные в разных группах, нельзя сравнивать, и это нужно держать в уме, рассматривая возможность использования такого исследования для принятия решений.

Подобным образом, CASP CAT для исследований диагностических методов содержит вопрос: «Было ли проведено сравнение с подходящим стандартным методом?» Такие вопросы очень важны для оценки результатов исследований, поскольку они напоминают нам о необходимости рассматривать работу с разных сторон.

Но даже при наличии всех этих ресурсов существует большая преграда для применения научно доказательной медицины на практике: это недостаток времени. Не всегда его можно выделить на такой анализ в своей повседневной работе. Поэтому многие оптометристы пользуются информацией, полученной в рамках непрерывного медицинского образования.

После посещения семинара или прочтения статьи, за изучение которой начисляются баллы-кредиты, ту научную базу, которая использовалась в процессе их подготовки, можно интегрировать в свою практику принятия клинических решений, так что при встрече с определенной ситуацией оптометрист будет во всеоружии доказательной медицины. Тем не менее, во время посещения семинара или чтения статьи не лишним будет задать себе вопросы, подобные тем, которые содержаться в CAT, с тем чтобы оценить качество исследований.

Заключение

Умение критически оценить результаты тех или иных исследований, относящихся к работе оптометриста, – это необходимый навык для принятия обоснованных клинических решений. Оценка подразумевает задавание вопросов, которые подвергают сомнению правильность дизайна исследования и направлены на выявление предвзятости со стороны ученых.

Для упрощения анализа существуют специальные ресурсы, например систематические обзоры; они очень полезны для работы оптометриста. Тем не менее даже исследования с высоким уровнем достоверности доказательств могут и не обладать высшим качеством, поэтому навыки их критической оценки крайне полезны. Их нужно применять и при посещении семинаров, и при чтении статей в профессиональных журналах, а также при изучении данных научных исследований.

Список литературы

1. Satterfield JM, Spring B, Brownson RC, Mullen EJ, Newhouse RP, Walker BB, Whitlock EP (2009) Toward a transdisciplinary model of evidence-based practice. Milbank Q. 87 (2): 368–390.
2. Emparanza JI, Cabello JB, Burls AJ (2015) Does evidence-based practice improve patient outcomes? An analysis of a natural experiment in a Spanish hospital. J Eval Clin Pract. 21 (6): 1059–1065.
3. Kiely PM, Slater J (2015) Optometry Australia entry-level competency standards for optometry 2014. Clin Exp Optom 98 (1): 65–89.
4. www.college-optometrists.org/en/professional-stand... Accessed 04/11/2016ю
5. Suttle CM, Jalbert I, Alnahedh T (2012) Examining the evidence base used by optometrists in Australia and New Zealand. Clin Exp Optom. 95 (1): 28–36.
6. Lawrenson JG, Evans JR (2013) Advice about diet and smoking for people with or at risk of age-related macular degeneration: a cross-sectional survey of eye care professionals in the UK. BMC Public Health. 13: 564.
7. Tsirlin I, Colpa L, Goltz HC, Wong AM (2015) Behavioral training as new treatment for adult amblyopia: A meta-analysis and systematic review. Invest Ophthalmol Vis Sci. 56 (6): 4061–4075.
8. Graham AM (2007) Finding, retrieving and evaluating journal and web-based information for evidence-based optometry. Clin Exp Optom. 90 (4): 244–249.
9. Bohannon J (2013) Who’s afraid of peer review? Science 342 (6154): 60–65.
10. Benedetti F, Carlino E, Piedimonte A (2016) Increasing uncertainty in CNS clinical trials: the role of placebo, nocebo, and Hawthorne Lancet Neurol. 15 (7): 736–747.
11. Armstrong RA, Davies LN, Dunne MC, Gilmartin B. (2011) Statistical guidelines for clinical studies of human vision. Ophthalmic Physiol Opt. 31 (2): 123–136.
12. www.cochrane.org Accessed 04/11/2016.
13. www.casp-uk.net Accessed 15/11/2016.

Автор: К. Саттл, старший преподаватель кафедры оптометрии и науки о зрении Лондонского городского университета (Лондон, Великобритания)

Перевод: И. В. Ластовская

Статья опубликована в журнале Optician (23.09.2019). Перевод печатается с разрешения редакции

Copyright © РА «Веко»

Печатная версия перевода статьи опубликована в журнале «Современная оптометрия» [2020. № 3 (133)].

По вопросам приобретения журналов и оформления подписки обращайтесь в отдел продаж РА «Веко»:

• Тел.: (812) 603-40-02.
• E-mail: magazine@veko.ru
• veko.ru

Наши страницы в соцсетях:

• vk.com/vekomagazine
• fb.com/vekomagazine