Дизайн исследования. Как самостоятельно подготовиться к исследованию, если ты новичок — Личный опыт на vc.ru
Исследования — важная часть любого бизнеса, но не все готовы делать их смыслом своей жизни. Эта статья для тех, кому нужно ресерчить, но в запасе нет лишних лет на обучение. Enjoy!
5925 просмотров
Привет! Меня зовут Ника, я работаю исследователем в Skyeng уже третий год. Чтобы делать ресерч хорошо, я уделяла много времени общественным наукам в школе, училась на социолога в универе и сейчас продолжаю изучать это ремесло.
Зачем в компании исследования?
Все очень просто: если мы будем делать продукт, полагаясь лишь на свою интуицию, есть большая вероятность потерять много времени, денег и сильно демотивироваться.
Интуиция — это классно: круто понимать, что нужно людям, и стремиться им дать это, но можно сильно промахнуться, ведь ваши мысли и желания — только ваши. Мысли и желания потенциальных клиентов — то, что нужно.
Я всегда за то, чтобы исследованиями в компании занимались все: продакты, проджекты, дизайнеры. Но! Важно провести именно исследование, а не поболтать с пользователями / потенциальными пользователями. Для этого классно иметь возможность погрузиться в методологию, почитать специализированную литературу о том, как правильно составить программу исследования / гайд / анкету, но иногда на это нет времени, поэтому можно обратиться к исследователю за консультацией (сейчас во многих компаниях они есть). Но если такой возможности нет, то прочтите хотя бы несколько статей об этом. Кстати, помощь можно получить и в комментариях к этим статьям.
Итак, чтобы сделать / улучшить / изменить продукт, нужно пообщаться с потенциальной аудиторией — но как это сделать, если прежде этим не занимался? Как получить данные, которые помогут бизнесу? Далее по пунктам о том, что нужно сделать прежде, чем идти в поля.
Подготовка к исследованию
Конечно, мы все любим получать быстрые результаты, но куда важнее получить качественные данные, которые не просто позволят поставить галочку у пункта «поресерчил пользователей», а действительно дадут почву для дальнейшей работы.
Во-первых, какими качествами должен обладать человек, который планирует проводить исследования?
Главное, как и каждый сотрудник компании, этот человек должен быть заинтересован своим продуктом
Второе — эмпатия. Чувство, которое помогает всем нам быть хорошими друзьями, коллегами и вообще сладкими булочками, а не черствыми сухарями. Это сильно важно для исследователя, ведь мы просим рассказать человека (информанта) о своих эмоциях по отношению к нашему продукту, о своей боли или радости, которую дарим им мы.
Третье — важно уметь абстрагироваться от своей точки зрения. Это бывает очень сложно, особенно когда речь идет о твоем детище (продукте). В голове уже тысяча гипотез и сотни вариантов решений. Но! Как только респондент подключился к интервью, следует тут же спрятать это все в далекий ящичек под замок и достать оттуда пятилетнего ребенка, которой на каждое предложение говорит «почему» и искренне не понимает, как все работает.
Переходим непосредственно к подготовке к исследованию. Я напишу очень кратко, потому что история сильно индивидуальная, но фактически это может занять времени столько же, сколько и сбор данных, а то и весь цикл вплоть до написания отчета. Разузнайте все, что делалось до вас с продуктом, абсолютно все, что кто-либо когда-либо зафиксировал. Посмотрите аналитику, пообщайтесь с коллегами, поищите в ноушенах и конфлюенсах все, что касается вашего предмета исследования. Укажите все ссылки в своем рабочем документе на случай, если захотите вернуться и уточнить какие-то моменты / найти цитаты — храните всю информацию по исследованию структурированно, облегчите себе жизнь. Ни в коем случае нельзя обесценивать этот этап, скорее всего, вы найдете новые гипотезы или даже ответы на свои вопросы.
Что такое дизайн исследования и зачем он нужен?
Дизайн исследования, на западный манер, или программа исследования, как принято говорить в России, — это каркас всего исследования, то, что помогает логично двигаться к достижению исследовательской цели.
Дизайн исследования — это то, что помогает логично двигаться к достижению исследовательской цели Ника Меркулова
Проблемная ситуация
Есть хорошее краткое объяснение: проблемная ситуация в исследовании — это знание о незнании. Если чуть разобраться, то это кажется очень точной формулировкой. Фактически это описание ситуации, которая привела нас к потребности провести исследование — то есть мы осознали, что не понимаем, как работает какая-то функция в нашем продукте, или случилась неполадка, и мы не знаем причин произошедшего.
Чаще всего проблемную ситуацию формулируют как противоречие между знанием потребности клиента и отсутствием с нашей стороны действий, закрывающих эту потребность.
Классно, когда в формулировке проблемной ситуации вы используете цифры и факты (которые вы узнали, например, на этапе подготовки к исследованию): конверсия в первую оплату снизилась на 30% в сравнении с предыдущим месяцем. Цифры — всегда хорошее обоснование для исследования. Опишите контекст подробно, представьте, что это исследование через время откроет ваш коллега, которому нужно будет разобраться. Вы сэкономите время и силы и ему, и себе, потому что в случае, если к вам через год придут с вопросами, вам придется глубоко погрузиться, чтобы вспомнить все детали. Сделайте свой документ прозрачным и понятным.
Здесь все просто: цель показывает, на какой конечный результат ориентируется исследование — это ответ на главный вопрос. Понятно, что ответов будет много, много инсайтов и всего интересного, но есть главный вопрос: в качественном исследовании, как правило, это «почему/как», в количественном — «сколько / на сколько / как часто» и т. п. Здесь скажу о том, что суть программы исследования в целом — чтобы все было взаимосвязано, лилось одним ручейком и раскрывало предыдущий пункт. То есть цель исследования — это получение ответа на противоречие, описанное в проблемной ситуации.
Задачи
Задачи — это условно промежуточные цели, которые помогут достичь главную, то есть цель исследования.
Обычно задач около 3–5 штук: по опыту, это оптимальное количество, которое можно охватить в одном исследовании, чтобы получить полные и глубокие данные, но, конечно же, их может быть и больше.
Более мелкие задачи можно закрыть небольшой группой вопросов в интервью. Обычно они формулируются в формате «выделить основные…» (факторы, например), «понять…», «выявить…», «определить…», «установить…» и т. п.
Задачи можно дробить на более мелкие — это называется основными и частными задачами. Основные вытекают из цели исследования, а частные детализируют основные.
Гипотезы
Мы в работе очень часто используем это слово, применяя его к любым предположениям/идеям, но нужно понимать, что в исследовании нельзя просто так взять и записать свои предположения (боже, какая я старушка). В исследовании важно зафиксировать обоснованные, подкрепленные данными гипотезы. Где такие взять? Основное — это то, что вы найдете на этапе подготовки к исследованию: данные аналитики, данные из предшествующих исследований, построенные по аналогии гипотезы, перенесенные из знаний о другом объекте. Пожалуйста, не стройте исследование на гипотезах в стиле «нам кажется, что…», «а что, если…»
Метод и инструментарий
Здесь следует указать, каким методом будет производиться сбор информации. Обычно это опрос — интервью или анкетирование. Укажите здесь, если пользуетесь агентством, онлайн-сервисом для сбора данных и т. д. Здесь же оставьте ссылку на гайд (список вопрос для интервью) или анкету.
Выборка
Если вы планируете качественное исследование, то здесь вам нужно прописать количество интервью, которые вы планируете провести, обоснование именно такого количества, описать параметры выборки и также обоснование.
Подумайте, чье мнение сейчас услышать важнее всего? Это родители, подростки, эксперты области, незнакомые с вашим продуктом люди или лояльные клиенты.
Не забывайте, что делать много сегментов чревато массивным анализом, который заберет у вас много времени. Принято считать, что на анализ стоит закладывать столько же времени, сколько и на сбор данных — на деле выходит немного быстрее, но бывает всякое. Взять 2–3 сегмента на одно исследование чаще всего достаточно.
Гайд
Это список вопросов, которые необходимо задать во время интервью. Он может иметь разный вид в зависимости от формализованности: неструктурированный, полуструктурированный или структурированный. Формализованность — это степень свободы участников интервью. То есть если у вас есть четкий список вопросов, которого вы придерживаетесь во время интервью, — это структурированное интервью, именно его лучше использовать новичкам. Такой вид интервью позволит вам ничего не упустить, чувствовать себя более уверенно и получить информацию в четком виде. Я чаще всего использую полуструктурированное интервью, потому что оно дает свободу и возможность задавать вопросы дополнительно — это необходимо для более глубокого погружения, ведь мы почти никогда не можем предсказать абсолютно все, что будет рассказывать нам респондент, а в его словах много крючков, которые без спонтанных вопросов остаются под водой, а мы остаемся без рыбки.
Постарайтесь действовать по ситуации: в любом случае подготовьте полный список вопросов, постарайтесь учесть в нем все, что вам интересно, пройдитесь по задачам, проверьте, все ли задачи покрывают ваши вопросы. После прочтите гайд вслух, а еще лучше прогоните на друге или коллеге, чтобы понять, туда ли вы ведете своего информанта.
В составлении гайда много нюансов, но в рамках этой статьи я скажу лишь основное, на мой взгляд: постарайтесь сделать беседу логичной, подумайте, что из чего вытекает, где можно задать дополнительные вопросы, чтобы раскрыть тему и плавно перейти к следующей. Здесь я уже писала о том, что исследование не должно быть сразу обо всем — вам нужно взять одну основную тему и раздробить ее на части, по которым в дальнейшем вы будете двигаться.
“Составьте такой план беседы, который учитывает все ваши задачи и при этом остается комфортным для ее участников, не заставляет прыгать с темы на тему и обратно”.
Ника Меркулова, User Researcher, Skyeng
В разработке дизайна исследования и в исследовании в целом, мне кажется, есть две основные вещи: это интересы компании и уважение к людям, которые делятся с вами информацией. Постарайтесь держать это в голове на протяжении всей работы над исследованием — тогда у вас обязательно все получится! Мы в Skyeng уделяем много внимания анализу данных и проведению качественных исследований и сейчас расширяем команду ресерчеров. Велком ту зе тим!
Ключевые методы дизайн-исследований
Начало интервью:
· Не стоит объяснять, что «вы проводите исследования…». Человеку это может быть совсем не интересно. Попробуйте его заинтересовать: «я вижу, вы провели здесь уже много времени… наша команда работает как раз над улучшением этого сервиса и ваш опыт будет для нас крайне полезным. Могли бы вы найти несколько минут и поделиться своим впечатлением от использования этого продукта/услуги»;
· Начните с вопроса «расскажите о… (последние впечатления о предмете исследования в зависимости от темы проекта – отдых, рабочая атмосфера, получение новых знаний, получение медицинских услуг, домашняя обстановка, поездка на общественном транспорте).
Сбор фактов: например, «с кем?», «где?», «когда?», «какова была последовательность ваших действий?», «какие вы испытывали чувства?». Например: «какими были ваши действия, когда вы вернулись с последнего тренинга?
Сбор историй: соберите как можно больше историй. Например: «Расскажите про свой самый классный тренинг. Почему было хорошо? Что бы вы порекомендовали?»
Сбор цитат: зафиксируйте цитаты человека, которые вам показались яркими/полезными/пробуждающими эмпатию/стимулирующими инсайты.
Какие типы вопросов стоит использовать во время интервью:
· Задавайте открытые вопросы. Пример открытого вопроса: как часто вы посещаете тренинги?
· Не задавайте закрытых вопросов, то есть, тех вопросов, которые подразумевают однозначный ответ – да или нет. Пример закрытого вопроса: вам было бы удобно, если бы по телефону заказали справку и пришли в офис? Подобная формулировка не дает новых гипотез и новой информации. Надо перефразировать: расскажите, как вы видите комфортный для себя процесс обработки вашего обращения? Почему?
· Помните про правило «Пяти почему» и задавайте как можно больше вопросов «почему?».
Вопросы для дивергенции и/или если беседа стихает:
· Как в идеале вы представляете себе эту ситуацию? Через 5-10 лет?
· Где/в какой организации удалось получить лучший опыт решения похожих задач?
· Если бы у вас была волшебная палочка?. .
Как вести себя во время интервью:
· Проявите человеческую заинтересованность в ответах вашего собеседника. Как если бы это был ваш друг или хороший знакомый
· Задавайте только один вопрос в один момент времени.
· Во время интервью не будьте излишне эмоциональны. Реагируйте нейтрально на любые ситуации, о которых рассказывает интервьюируемый.
· Не пугайтесь молчания. Молчание может спровоцировать вашего собеседника заполнить его и продолжить свой рассказ.
· Если у вас появилась идея или предположение, кратко запишите и озвучьте только в конце интервью для получения обратной связи в форме: «правильно ли я понял, что… ?».
Как закончить беседу:
· Поблагодарить и предложить поучаствовать в тестировании прототипа нового продукта/услуги
· Взять контакты, если человек к этому расположен.
Адаптировано на основании материалов Stanford d.school
Примеры соображений по плану исследования — основа для рассмотрения дизайна исследования для будущих потребностей в исследованиях
Следующие примеры иллюстрируют мнение группы о содержании и формате демонстрации соображений по дизайну исследования в отчетах FRN. Первые три являются примерами одного FRN; четвертый пример — обсуждение вопросов размера выборки. Примеры взяты из первой серии отчетов EPC FRN; потребности были переформатированы, чтобы отразить рекомендуемое представление, описанное в этом документе. Табличный формат считается наиболее лаконичным (Пример 2; см. Ресурсы). Как обсуждалось выше, дескрипторы соображений дизайна исследования должны быть краткими. Должны быть представлены только от одного до трех (редко больше) наиболее осуществимых планов исследования; мы считаем излишним и потенциально запутанным представлять итерации того, почему, например, дизайн кросс-секционного исследования неуместен в качестве средства заполнения пробела в доказательствах, связанных с эффективностью лечения. Для некоторых пробелов может быть достаточно только РКИ, и, следовательно, уместна только одна презентация дизайна исследования. Как обсуждалось ранее, авторы отчета FRN должны поощрять творческий подход и подчеркивать, что эти соображения носят иллюстративный, а не предписывающий характер. Кроме того, достижения в аналитических методах могут позволить использовать альтернативные дизайны исследований, не предусмотренные командой FRN. Кроме того, группа проекта FRN должна рассмотреть и обсудить уроки, извлеченные из исследований, включенных в CER. Обсуждение методологических слабых мест, которые ограничивают силу имеющихся доказательств, может быть использовано для поддержки предложения, которое предотвратит повторение предыдущих ошибок. Пробелы в методологических доказательствах, если они очевидны, также должны быть учтены при рассмотрении дизайна исследования.
Таблица 2
Сравнение дизайнов исследований.
Пример 1. Описание/Маркированный текст
Область содержания: Фиксация перелома бедра: «Одни процедуры (например, внутренняя фиксация) работают лучше, чем другие, у ослабленных пожилых пациентов?» 8
Рандомизированное исследование
Преимущества дизайна исследования для получения достоверного результата : Хорошо проведенное РКИ даст наиболее убедительные результаты и, если критерии включения/исключения и условия реалистичны, должно быть достаточно обобщаемым .
Использование ресурсов, размер и продолжительность : РКИ должно быть большим, потому что в вопросе сравниваются активные методы лечения, а размер эффекта может быть небольшим и легко заглушается другими причинами заболеваемости и смертности в этой популяции. Продолжительность зависит от того, сосредоточено ли исследование на перипроцедурных осложнениях и краткосрочных результатах или на долгосрочной устойчивости различных вариантов лечения. В любом случае потребности в ресурсах будут большими или очень большими, учитывая, что размер эффекта между обработками может быть скромным.
Этические вопросы : Пока существует равновесие между вариантами лечения, этические вопросы в отношении зачисления не должны возникать. Однако, если в исследование включены пациенты с деменцией, могут возникнуть проблемы с согласием.
Наличие данных или возможность набрать : Набор может быть медленным, потому что это субпопуляция пациентов с переломом бедра, и может быть трудно охватить большое количество.
Проспективное когортное исследование
Преимущества дизайна исследования для получения достоверного результата : Несмотря на то, что всегда будет существовать проблема систематической ошибки отбора и неизмеренных вмешивающихся факторов, проспективный дизайн позволяет собирать и контролировать данные о наиболее значимых известных вмешивающихся факторах. . Поэтому, хотя результаты не будут такими окончательными, как РКИ, они могут быть информативными.
Использование ресурсов, размер и продолжительность : Этот тип исследования по-прежнему требует большого размера из-за потенциально небольшого эффекта лечения, но, вероятно, будет дешевле, чем РКИ.
Этические, правовые и социальные вопросы : Основным этическим вопросом является согласие в случае пациентов с деменцией; однако, поскольку выбор лечения не связан, это может иметь меньшее значение.
Наличие данных или возможность набора : Набор пациентов для этого дизайна должен быть проще, чем для РКИ.
Ретроспективное когортное исследование
Преимущества дизайна исследования для получения достоверных результатов : Существует значительный риск систематической ошибки при отборе, а возможности контроля вмешивающихся факторов меньше, чем в проспективном когортном исследовании, поскольку ключевые переменные могут не собираться. Однако этого плана может быть достаточно для выработки гипотез, которые затем можно использовать для разработки более целенаправленного РКИ.
Использование ресурсов, размер и продолжительность : Дизайн ретроспективного когортного исследования может быть значительно быстрее и дешевле, чем РКИ или проспективное когортное исследование.
Этические, юридические и социальные вопросы : Конфиденциальность и переносимость и учет медицинского страхования (HIPAA) † Проблемы могут возникнуть, когда различные базы данных связаны без согласия конкретного пациента.
Наличие данных или возможность вербовки : Вербовка вполне возможна; основное беспокойство вызывает систематическая ошибка отбора, зависящая от источника вторичных данных и отсутствующих переменных. Переговоры с держателями вторичных данных могут занять значительное время.
Пример 2. Таблица
Область содержания: плановое кесарево сечение в сравнении с плановыми родами через естественные родовые пути у здоровых женщин. «Какова сравнительная эффективность планового кесарева сечения по сравнению с плановым вагинальным родоразрешением в отношении материнских и неонатальных исходов?» 9
Пример 3. Процесс или методы Соображения
Область содержания: Лечение рака предстательной железы. «Содействовать будущим исследованиям потенциальных биомаркеров для выявления пациентов, чье заболевание может быть агрессивным». 10
Контекст: хотя было предпринято много усилий, чтобы предсказать, у каких пациентов с локализованным раком предстательной железы будет агрессивное заболевание, существующие инструменты недостаточны для прогнозирования того, какого пациента лечить с какой-либо высокой степенью точности. С появлением биомаркеров других заболеваний, таких как рак молочной железы, которые обладают как прогностической, так и предсказательной силой, продолжается поиск биомаркеров, которые могут предсказать, у каких пациентов с раком предстательной железы прогноз менее благоприятный и в большей степени может помочь немедленное лечение. . Хотя ряд биомаркеров был изучен на сегодняшний день с ограниченным успехом, биомаркеры продолжают играть потенциально важную роль.
Предлагаемый план исследования: создание репозиториев биологических образцов с клиническими данными по диагностике, лечению и последующему наблюдению.
Вопросы дизайна исследования:
Преимущества дизайна исследования для получения достоверного результата долго собирать. Такие репозитории создаются для других исследований, таких как испытание ProtecT в Соединенном Королевстве. Кроме того, учитывая различия в схемах лечения, популяциях и, возможно, исходах исследований, биообразцы из разных испытаний могут помочь в рассмотрении альтернативных гипотез. Национальный институт рака устанавливает методы для каждого этапа процесса создания и поддержания репозиториев биообразцов.
Использование ресурсов, размер и продолжительность : Несмотря на то, что создание и обслуживание дополнительных хранилищ требует больших затрат, они позволят проводить больше тестов биомаркеров, особенно потому, что образцы тканей ограничены. Административная сложность отслеживания образцов и их использования является существенной, и постоянное финансирование инфраструктуры имеет важное значение.
Возможность набора : Во время биопсии или операции пациенты могут дать согласие на участие. Учитывая, что ткань получают как часть процедуры, это должно быть просто.
Этические, юридические и социальные вопросы : Биорепозитории требуют обширной документации своей политики в отношении отслеживания и использования образцов. Предлагаемые поправки к Общему правилу Федерального департамента здравоохранения и социальных служб (HHS) могут частично решить эти проблемы. ‡ Необходимо тщательное планирование.
Пример 4. Расчет размера выборки для обоснования возможности будущих РКИ
Область содержания: Стентирование коронарных артерий по сравнению с операцией аортокоронарного шунтирования.
Чрескожные коронарные вмешательства (ЧКВ) со стентами или без них и аортокоронарное шунтирование (АКШ) являются клинически значимыми вариантами лечения для многих пациентов с ишемической болезнью сердца (ИБС). При оценке этой темы было сочтено, что важный пробел касается сравнительной эффективности и безопасности вмешательств у пожилых людей (в возрасте 75 лет и старше). 11
Но что именно заслуживает дальнейшего изучения? Целенаправленный анализ ценности информации помог уточнить группу параметров, которые в наибольшей степени повлияли бы на решение о выборе между ЧКВ и АКШ у пожилых людей. Анализ показал, что относительная безопасность вмешательств (т. е. относительное влияние на осложнения после вмешательства) была важнее, чем, например, абсолютная частота нежелательных явлений после вмешательства. Согласно описанию выше, возможным дизайном для изучения относительных эффектов лечения является РКИ.
Реально ли рассмотреть возможность проведения нового РКИ для сравнения ЧКВ и АКШ? Можно выполнять расчеты размера выборки высокого уровня. В самые крупные исследования в этой области было включено около 2500 пациентов, что служит показателем крупного осуществимого РКИ. показывает мощность, достигнутую в диапазоне размеров выборки для различных значений частоты контроля в течение среднего периода наблюдения 3 или 5 лет (подробности см. в легенде). Мощность увеличивается с размером выборки, частотой контроля и продолжительностью наблюдения. В течение 5 лет наблюдения исследование примерно 2500 пациентов достигло бы от 80 до 90 процентов мощности найти относительный эффект 0,80 только в том случае, если он выбирает результат, который имеет по крайней мере 30-процентную степень контроля. Это означает составной результат . Чтобы получить среднюю продолжительность наблюдения около 5 лет, испытание должно продолжаться не менее 6–8 лет (см. легенду).
Рисунок 2
Расчеты мощности для РКИ превосходства для различных 5-летних первичных событий в группе сравнения. На графике представлены расчеты мощности для шести различных 5-летних частот первичных событий в группе сравнения (5%, 10%, 15%, 20%, 30% и 40%, как показано рядом с (подробнее…)
Таким образом, РКИ de novo возможны, но, вероятно, потребуют ресурсов, сопоставимых с недавними крупными РКИ. Приведенные выше расчеты являются общими и поэтому применимы к любой подгруппе пациентов с сердечными заболеваниями. Например, у пациентов среднего возраста с двухсосудистым поражением необходимо было бы определить комбинированный исход смерти, инфаркта миокарда или других сердечных событий, чтобы достичь высокой частоты контроля событий и, таким образом, высокой мощности для обнаружения значимой разницы. Напротив, в субпопуляции пожилых пациентов (например, старше 75 лет), где уровни смертности могут быть достаточно высокими, можно достичь высокой статистической мощности только для исхода смерти.
Сноски
- †
Закон о переносимости и подотчетности медицинского страхования от 1996 г. (HIPAA) Правила конфиденциальности и безопасности
- ‡
- ‡
Общее правило описано в части 4, в разделе 6, подразделе 4 CFR. : http://www
Примеры соображений по плану исследования — Основа рассмотрения дизайна исследования для будущих исследовательских нужд
Следующие примеры иллюстрируют мнение группы о содержании и формате демонстрации соображений дизайна исследования в отчетах FRN. Первые три являются примерами одного FRN; четвертый пример — обсуждение вопросов размера выборки. Примеры взяты из первой серии отчетов EPC FRN; потребности были переформатированы, чтобы отразить рекомендуемое представление, описанное в этом документе. Табличный формат считается наиболее лаконичным (Пример 2; см. Ресурсы). Как обсуждалось выше, дескрипторы соображений дизайна исследования должны быть краткими. Должны быть представлены только от одного до трех (редко больше) наиболее осуществимых планов исследования; мы считаем излишним и потенциально запутанным представлять итерации того, почему, например, дизайн кросс-секционного исследования неуместен в качестве средства заполнения пробела в доказательствах, связанных с эффективностью лечения. Для некоторых пробелов может быть достаточно только РКИ, и, следовательно, уместна только одна презентация дизайна исследования. Как обсуждалось ранее, авторы отчета FRN должны поощрять творческий подход и подчеркивать, что эти соображения носят иллюстративный, а не предписывающий характер. Кроме того, достижения в аналитических методах могут позволить использовать альтернативные дизайны исследований, не предусмотренные командой FRN. Кроме того, группа проекта FRN должна рассмотреть и обсудить уроки, извлеченные из исследований, включенных в CER. Обсуждение методологических слабых мест, которые ограничивают силу имеющихся доказательств, может быть использовано для поддержки предложения, которое предотвратит повторение предыдущих ошибок. Пробелы в методологических доказательствах, если они очевидны, также должны быть учтены при рассмотрении дизайна исследования.
Таблица 2
Сравнение дизайнов исследований.
Пример 1. Описание/Маркированный текст
Область содержания: Фиксация перелома бедра: «Одни процедуры (например, внутренняя фиксация) работают лучше, чем другие, у ослабленных пожилых пациентов?» 8
Рандомизированное исследование
Преимущества дизайна исследования для получения достоверного результата : Хорошо проведенное РКИ даст наиболее убедительные результаты и, если критерии включения/исключения и условия реалистичны, должно быть достаточно обобщаемым .
Использование ресурсов, размер и продолжительность : РКИ должно быть большим, потому что в вопросе сравниваются активные методы лечения, а размер эффекта может быть небольшим и легко заглушается другими причинами заболеваемости и смертности в этой популяции. Продолжительность зависит от того, сосредоточено ли исследование на перипроцедурных осложнениях и краткосрочных результатах или на долгосрочной устойчивости различных вариантов лечения. В любом случае потребности в ресурсах будут большими или очень большими, учитывая, что размер эффекта между обработками может быть скромным.
Этические вопросы : Пока существует равновесие между вариантами лечения, этические вопросы в отношении зачисления не должны возникать. Однако, если в исследование включены пациенты с деменцией, могут возникнуть проблемы с согласием.
Наличие данных или возможность набрать : Набор может быть медленным, потому что это субпопуляция пациентов с переломом бедра, и может быть трудно охватить большое количество.
Проспективное когортное исследование
Преимущества дизайна исследования для получения достоверного результата : Несмотря на то, что всегда будет существовать проблема систематической ошибки отбора и неизмеренных вмешивающихся факторов, проспективный дизайн позволяет собирать и контролировать данные о наиболее значимых известных вмешивающихся факторах. . Поэтому, хотя результаты не будут такими окончательными, как РКИ, они могут быть информативными.
Использование ресурсов, размер и продолжительность : Этот тип исследования по-прежнему требует большого размера из-за потенциально небольшого эффекта лечения, но, вероятно, будет дешевле, чем РКИ.
Этические, правовые и социальные вопросы : Основным этическим вопросом является согласие в случае пациентов с деменцией; однако, поскольку выбор лечения не связан, это может иметь меньшее значение.
Наличие данных или возможность набора : Набор пациентов для этого дизайна должен быть проще, чем для РКИ.
Ретроспективное когортное исследование
Преимущества дизайна исследования для получения достоверных результатов : Существует значительный риск систематической ошибки при отборе, а возможности контроля вмешивающихся факторов меньше, чем в проспективном когортном исследовании, поскольку ключевые переменные могут не собираться. Однако этого плана может быть достаточно для выработки гипотез, которые затем можно использовать для разработки более целенаправленного РКИ.
Использование ресурсов, размер и продолжительность : Дизайн ретроспективного когортного исследования может быть значительно быстрее и дешевле, чем РКИ или проспективное когортное исследование.
Этические, юридические и социальные вопросы : Конфиденциальность и переносимость и учет медицинского страхования (HIPAA) † Проблемы могут возникнуть, когда различные базы данных связаны без согласия конкретного пациента.
Наличие данных или возможность вербовки : Вербовка вполне возможна; основное беспокойство вызывает систематическая ошибка отбора, зависящая от источника вторичных данных и отсутствующих переменных. Переговоры с держателями вторичных данных могут занять значительное время.
Пример 2. Таблица
Область содержания: плановое кесарево сечение в сравнении с плановыми родами через естественные родовые пути у здоровых женщин. «Какова сравнительная эффективность планового кесарева сечения по сравнению с плановым вагинальным родоразрешением в отношении материнских и неонатальных исходов?» 9
Пример 3. Процесс или методы Соображения
Область содержания: Лечение рака предстательной железы. «Содействовать будущим исследованиям потенциальных биомаркеров для выявления пациентов, чье заболевание может быть агрессивным». 10
Контекст: хотя было предпринято много усилий, чтобы предсказать, у каких пациентов с локализованным раком предстательной железы будет агрессивное заболевание, существующие инструменты недостаточны для прогнозирования того, какого пациента лечить с какой-либо высокой степенью точности. С появлением биомаркеров других заболеваний, таких как рак молочной железы, которые обладают как прогностической, так и предсказательной силой, продолжается поиск биомаркеров, которые могут предсказать, у каких пациентов с раком предстательной железы прогноз менее благоприятный и в большей степени может помочь немедленное лечение. . Хотя ряд биомаркеров был изучен на сегодняшний день с ограниченным успехом, биомаркеры продолжают играть потенциально важную роль.
Предлагаемый план исследования: создание репозиториев биологических образцов с клиническими данными по диагностике, лечению и последующему наблюдению.
Вопросы дизайна исследования:
Преимущества дизайна исследования для получения достоверного результата долго собирать. Такие репозитории создаются для других исследований, таких как испытание ProtecT в Соединенном Королевстве. Кроме того, учитывая различия в схемах лечения, популяциях и, возможно, исходах исследований, биообразцы из разных испытаний могут помочь в рассмотрении альтернативных гипотез. Национальный институт рака устанавливает методы для каждого этапа процесса создания и поддержания репозиториев биообразцов.
Использование ресурсов, размер и продолжительность : Несмотря на то, что создание и обслуживание дополнительных хранилищ требует больших затрат, они позволят проводить больше тестов биомаркеров, особенно потому, что образцы тканей ограничены. Административная сложность отслеживания образцов и их использования является существенной, и постоянное финансирование инфраструктуры имеет важное значение.
Возможность набора : Во время биопсии или операции пациенты могут дать согласие на участие. Учитывая, что ткань получают как часть процедуры, это должно быть просто.
Этические, юридические и социальные вопросы : Биорепозитории требуют обширной документации своей политики в отношении отслеживания и использования образцов. Предлагаемые поправки к Общему правилу Федерального департамента здравоохранения и социальных служб (HHS) могут частично решить эти проблемы. ‡ Необходимо тщательное планирование.
Пример 4. Расчет размера выборки для обоснования возможности будущих РКИ
Область содержания: Стентирование коронарных артерий по сравнению с операцией аортокоронарного шунтирования.
Чрескожные коронарные вмешательства (ЧКВ) со стентами или без них и аортокоронарное шунтирование (АКШ) являются клинически значимыми вариантами лечения для многих пациентов с ишемической болезнью сердца (ИБС). При оценке этой темы было сочтено, что важный пробел касается сравнительной эффективности и безопасности вмешательств у пожилых людей (в возрасте 75 лет и старше). 11
Но что именно заслуживает дальнейшего изучения? Целенаправленный анализ ценности информации помог уточнить группу параметров, которые в наибольшей степени повлияли бы на решение о выборе между ЧКВ и АКШ у пожилых людей. Анализ показал, что относительная безопасность вмешательств (т. е. относительное влияние на осложнения после вмешательства) была важнее, чем, например, абсолютная частота нежелательных явлений после вмешательства. Согласно описанию выше, возможным дизайном для изучения относительных эффектов лечения является РКИ.
Реально ли рассмотреть возможность проведения нового РКИ для сравнения ЧКВ и АКШ? Можно выполнять расчеты размера выборки высокого уровня. В самые крупные исследования в этой области было включено около 2500 пациентов, что служит показателем крупного осуществимого РКИ. показывает мощность, достигнутую в диапазоне размеров выборки для различных значений частоты контроля в течение среднего периода наблюдения 3 или 5 лет (подробности см. в легенде). Мощность увеличивается с размером выборки, частотой контроля и продолжительностью наблюдения. В течение 5 лет наблюдения исследование примерно 2500 пациентов достигло бы от 80 до 90 процентов мощности найти относительный эффект 0,80 только в том случае, если он выбирает результат, который имеет по крайней мере 30-процентную степень контроля. Это означает составной результат . Чтобы получить среднюю продолжительность наблюдения около 5 лет, испытание должно продолжаться не менее 6–8 лет (см. легенду).
Рисунок 2
Расчеты мощности для РКИ превосходства для различных 5-летних первичных событий в группе сравнения. На графике представлены расчеты мощности для шести различных 5-летних частот первичных событий в группе сравнения (5%, 10%, 15%, 20%, 30% и 40%, как показано рядом с (подробнее.