Тестирование продуктов

Тестирование продуктов
ДЛЯ ЧЕГО НУЖНО
ТЕСТИРОВАНИЕ ПРОДУКТОВ
• Тестирование продуктов - группа методов оценки и диагностики
характеристик продуктов с помощью потребителей. Предтечами
методов тестирования продуктов были тесты чувственных
восприятий или сенсорные тесты (sensory tests) и панели
тестеров (employee panels).
• В них продукты тестировали специально обученные
постоянные группы людей. Эти методы используются и сейчас,
но большинство продуктов тестируются при помощи
потребителей.
• По сути, тестирование продуктов - это постановочный
эксперимент.
• В зависимости от решаемых задач к тестированию продуктов
можно прибегать на разных стадиях жизненного цикла продукта.
Тестирование продуктов может
преследовать две разные цели:
•
•
•
•
•
оценка существующего на рынке продукта,
разработка нового продукта.
Оценка существующего продукта нужна при любых изменениях
продукта (повышении цены, изменении дизайна упаковки и т.п.), чтобы
понять реакцию потребителей на эти изменения. В общем, такие
модификации тоже можно назвать новым продуктом с точки зрения
потребителя.
Разработка новых продуктов в современном мире становится одной из
главных задач любой компании. Чтобы поддерживать и увеличивать
свою рыночную долю, компании должны вести постоянную борьбу за
потребителя. Тестирование продуктов перед выводом продукта на
рынок очень важно.
по статистике, на один успешный продукт приходится от 6 до 20
провалов. Большое количество новых продуктов терпят провал именно
потому, что они не были должным образом протестированы перед
запуском. Правильно проведенное тестирование продуктов снижает
вероятность провала практически до нуля.
Что может считаться новым
продуктом?
•
•
•
•
•
•
•
•
•
Инновационный (абсолютно новый) продукт. Примером может
быть аудиоплейер SONY Walkman.
Расширение существующей линейки
Клон или «фланговый» продукт (копировальный аппарат Ricoh
против Xerox).
Перепозиционирование существующих продуктов (сеть
магазинов «Максима» - «Максима XXL»).
Новая форма существующих продуктов (жидкое мыло).
Новая формула существующих продуктов (Кока-Кола).
Новая упаковка существующих продуктов (пластиковая бутылка
0,6 л. вместо 0,5 л.)
Продукты, добавляющие ценность (лосьон «Жилетт» в
дополнение к лезвиям «Жилетт»).
Временные/промежуточные варианты продуктов (Windows
Melenium).
Когда используется тестирование продуктов?
Примеры.
• Тестирование концепции позволило выявить наиболее
выигрышную концепцию нового продукта. На основе этой
концепции разработано несколько вариантов продукта.
Необходимо определить наилучший вариант.
• В результате НИОКР/сенсорных тестов/панели тестеров
разработан новый продукт или вариант продукта. Нужно
оценить его при помощи потребителей.
• Принято решение модифицировать продукт (снизить цену,
изменить дизайн упаковки, ввести новый компонент и т.п.).
Необходимо оценить реакцию потребителей на такое
изменение.
• Конкурент выпустил продукт, как две капли воды похожий на
ваш. Вы предъявляете ему иск, конкурент пытается доказать,
что новый продукт является оригинальным. Необходимо узнать
мнение потребителей на этот счет.
Процедура тестирования продуктов может различаться в
зависимости от типа теста.
примерная схема такова:
•
•
•
•
•
•
•
•
•
•
•
презентация продукта,
проба,
определение намерения купить,
общая оценка продукта,
определение частоты предполагаемой покупки (покупка вместо
чего-то, выявление эффекта «замещения» и
«каннибализации»),
изучение ценовой чувствительности,
изучение использования продукта,
общая оценка продукта,
намерение повторной покупки,
изучение потребительских предпочтений, позиции продукта
среди других,
оценка отдельных характеристик продукта, специальные
вопросы.
ТИПЫ ТЕСТОВ
• ПО ЧИСЛУ ТЕСТИРУЕМЫХ ПРОДУКТОВ.
• Существует два базовых принципа тестирования
продуктов в зависимости от числа тестируемых
продуктов. Это может быть показ только одного
продукта или сравнение двух и более продуктов. На
основе этих принципов действуют три наиболее
распространенных типа тестов и их вариации:
• это тестирование одного продукта (Monadic Test),
• тест парного сравнения (Paired Comparison Test)
• тест повторного парного сравнения (Repeat Paired
Preference Test).
Тестирование одного продукта
(Monadic Test)
•
•
•
•
•
В Monadic тесте тестируется один образец одного продукта, что
позволяет получить его абсолютную оценку. Обычно это лучший из
всех методов, так как имеет множество достоинств:
Monadic тест симулирует реальные жизненные условия, так как обычно
в жизни мы употребляем один, а не несколько продуктов в одно и то же
время.
Исключается взаимовлияние, наблюдаемое при парных сравнениях
продуктов.
Фокусируя внимание респондента на одном продукте, Monadic тест
обеспечивает наиболее точную и действенную диагностическую
информацию.
Monadic тест обеспечивает использование нормативной базы данных и
разработку норм и стандартов действий.
Теоретически все продукты могут тестироваться в формате Monadic теста,
поскольку многие из них не могут адекватно сравниваться в тестах
парных сравнений, например, продукты с очень сильным вкусом
(перченые чипсы, алкогольные настойки) могут настолько забить вкус
респондента, что он не будет в состоянии тестировать второй продукт.
Что можно измерить при помощи
Monadic теста?
•
•
•
•
•
•
•
•
•
•
Степень интереса к покупке и причины покупки.
Получить общую оценку продукта.
Что нравится в продукте, его преимущества.
Что не нравится в продукте, его недостатки.
Ценность, уникальность, превосходство, доверие, важность.
Оценить ожидаемую частоту использования, кто из членов
домохозяйства использует или будет использовать продукт.
Оценить ожидаемую частоту покупок, количество продукта в
одной покупке.
Ситуации потребления.
Замещение/другое использование продукта.
Получить оценку атрибутов продукта и выделить его
существенные черты.
Последовательный показ продуктов
(Sequential Monadic Test)
•
Последовательный показ продуктов часто применяется для снижения
затрат на проведение теста. В данном формате каждый респондент
оценивает два продукта (сначала пробует один продукт и оценивает
его, затем пробует второй продукт и также оценивает его). Такой тест
достаточно хорошо работает во многих случаях и имеет ряд тех же
достоинств, что и чистый Monadic тест.
•
Однако всегда помнить об «эффекте подавления» в данном виде
тестов.
Все оценки в таком тесте будут ниже по сравнению с чистым Monadic
тестом.
Следовательно, результаты Sequential Monadic тестов не могут
напрямую сравниваться с результатами Monadic тестов. Кроме того, в
ряде случаев в Sequential Monadic тестах наблюдается «эффект
взаимовлияния», характерный для парных тестов. Если первый из
продуктов значительно лучше, тогда второй продукт будет оценен
непропорционально низко и наоборот. Таким образом, SM тест нельзя
использовать, если продукты сильно различаются между собой.
•
•
Существуют два эффекта
влияния порядка:
• Если независимо от порядка присутствует сдвиг
предпочтений к первому по порядку предъявления
образцу, то это означает, что оба продукта хорошо
принимаются рынком. И наоборот, если независимо
от порядка присутствует сдвиг предпочтений ко
второму по порядку предъявления образцу, то это
означает, что оба продукта не лучше и не хуже
имеющихся на рынке.
• Результаты тестирования могут зависеть от порядка
тестирования. Это случается в том случае, если один
из продуктов имеет явное преимущество в
характеристиках. И не всегда это контролируемый в
тесте параметр, например, это могут быть
тактильные ощущения от разных упаковок.
Протомонадик (Protomonadic)
тест.
• В Protomonadic тестах продукты сначала оцениваются отдельно,
а потом респонденту предлагается сравнить их между собой.
Различают два вида Protomonadic тестов:
• Monadic тесты, заканчивающиеся парным сравнением.
• Sequential Monadic тесты, заканчивающиеся парным
сравнением.
• Protomonadic тест обеспечивает хорошие диагностические
данные, а парное сравнение в конце может рассматриваться как
дополнительная гарантия того, что результаты корректны.
Protomonadic тест обычно используется в холл-тестах, а не в
домашних условиях (из-за сложности исполнения).
Парное сравнение (Paired
Comparison)
•
•
•
•
Тест парных сравнений, при котором респондент пробует два продукта
и определяет, какой продукт лучше, обращен к нашему здравому
смыслу. Парное сравнение является прекрасным тестом для
предъявления доказательств из-за его наглядности. При помощи
данного теста возможно измерение очень малых различий между
двумя продуктами. Кроме того, парное сравнение часто дешевле
других методов, так как во многих случаях размеры выборки меньше.
Порядок, в котором демонстрируются образцы, задан, и тест
сконструирован так, что оба возможных порядка повторяются
одинаковое количество раз.
Недостатки данного метода:
Тесты парных сравнений не говорят нам, являются ли оба продукта
хорошими или плохими, не могут быть включены в базу нормативных
данных.
Оценка не является абсолютной, она несравнима с результатами
других тестов.
Результаты парных сравнений сильно подвержены эффекту
взаимовлияния (например, любые вариации в контрольном продукте
вызывают соответствующие вариации в оценках тестового продукта).
Повторное парное сравнение
(Repeated Pairs)
• В тесте Repeated Pairs каждый респондент вначале попарно
сравнивает продукты A и Б, а затем эта процедура повторяется.
Однако при повторном тестировании те же продукты
представляют как два других продукта (не как продукты А и Б).
Целью данного теста является выявление потребителей, не
различающих продукты, то есть тех, кто выбрал другой продукт
при повторном тесте.
Считается, что потребители, которые выбрали продукт А в
первом тесте и продукт Б во втором тесте, не могут ощутить
разницу между этими продуктами. Обычно ответы этих
респондентов не учитываются при дальнейших расчетах.
Конечные результаты базируются на ответах респондентов,
которые различают продукты А и Б, то есть, например,
выбравших продукт А и в первом и в повторном тесте.
Тесты отличий (Discrimination
or Difference Tests)
•
Как следует из названия, в этих тестах всегда участвуют несколько продуктов,
между которыми мы ищем отличия.
•
Тесты отличий используются, когда необходимо определить, воспринимают ли
респонденты разницу между продуктами и, в некоторых случаях, установить
величину этой разницы. Так как эти тесты включают сравнительные оценки, они
могут быть очень чувствительны при выявлении даже самой маленькой
разницы между продуктами.
•
Некоторые тесты используют для того, чтобы определить, есть ли разница
между двумя образцами. Такие тесты нельзя использовать, если разница между
продуктами очевидна.
•
Основные виды тестов различий: уже знакомый нам тест парных сравнений,
тест ранжирования, тест «отличный от контрольного», тест оценки величины
отличия.
Если необходимо установить величину разницы между образцами, для
измерения используется шкала рейтингов. В случае, когда несколько образцов
оцениваются по сравнению с контрольным, используется множественный тест
отличий.
Тест треугольника (Triangle
Test)
•
Тест Треугольника используется в первую очередь для тестирования
разницы между продуктами. Каждому участнику теста представляются
на пробу три продукта и предлагается выбрать один, который
отличается от двух других. Тест применяется для определения
потребителей, которые способны отличить (идентифицировать) один
продукт их трех. В дальнейшем эти респонденты приглашаются в
качестве членов небольших экспертных панелей (иногда называемых
сенсорными). Используя в дальнейшем Тест Треугольника, эти
экспертные панели помогают исследовать и развивать формулы
продукта, например, изменения в процессе изготовления, изменения
рецептуры и т.д.
Тест Треугольника используется также для контроля качества (отличий
данной партии или продукции различных заводов от стандартной).
В Тесте Треугольника задается определенный порядок тестирования
образцов. Здесь возможны два варианта тестирования продуктов: два
продукта А и один продут Б или два Б и один А. В рамках каждого
варианта возможны три порядка представления образов. Таким
образом, всего возможно 6 вариантов: БАА, БАБ, ААБ, АБА, АББ, ББА.
Каждый из порядков должен быть использован равное количество раз,
следовательно, количество респондентов должно быть кратно 6.
Тест Двойка-Тройка (Duo-Trio
Test)
• В Тесте Двойка-Тройка одновременно тестируются три образца.
Один из них помечается как контрольный трехзначным
случайным кодом.
• Два других также помечаются трехзначным случайным кодом.
Первым тестируется контрольный образец, затем два других.
Респондент должен определить, какой из образцов совпадает с
контрольным, а какой отличается от него.
• Тест Двойка-Тройка можно проводить с постоянным
контрольным образцом. В этом случае используется один набор
кодов для образцов. Этот способ применяется, если в наличии
имеется ограниченное количество одного из образцов.
В Тесте Двойка-Тройка с равными долями контрольных
образцов используется два набора кодов.
• Этот способ помогает уменьшить количество тестируемых
образцов и снижает смещение оценок.
Тест «Два из пяти»
• Этот тест предназначен для выявления
различий между двумя продуктами.
Респонденту представляют 5 образцов
и просят указать два одинаковых.
Вероятность случайного выбора в
данном тесте мала (около 10%), таким
образом, размер выборки может быть
уменьшен.
Тест ранжирования
•
Тест ранжирования помогает установить
величину отличия между образцами.
Респондентам представляются 3 или более
образцов, помеченных кодами, и
предлагается проранжировать их по
определенным заданным характеристикам
(например, кислота, сладость). Порядок
представления образцов задан. В данном
тесте должно быть использовано не более 5
образцов.
Тест «отличный от
контрольного»
• В данном тесте респонденту сначала
представляется контрольный образец.
• Последующие образцы оцениваются по
шкале, показывающей степень отличия
каждого из образцов от контрольного (от
«совсем не отличается» до «очень сильно
отличается»).
• Обычно в данном тесте используется
скрытый контроль.
• Респондентов также спрашивают, в чем
заключается отличие.
Тест оценки величины отличия
• Респонденту в определенном порядке
представляются 2 или более образца продуктов,
помеченных кодами.
• Первому образцу присваивается произвольное
значение по тестируемой характеристике.
• При тестировании последующих образцов им
присваиваются оценки выше или ниже в зависимости
от величины отличия.
• Хотя этот тест обычно используется для
определения различий по специфическим
характеристикам, он может быть использован для
оценки приемлемости или в гедонистических тестах.
Описательные тесты
(Descriptive Tests)
• Описательные тесты позволяют получить подробную
информацию о различных характеристиках
продуктов (аромат, вкус, текстура и т.п.).
• Эти характеристики затем могут быть использованы
в дальнейших исследованиях и производстве, в том
числе, для количественной оценки различий между
продуктами.
• Описательные тесты помогают получить
качественную информацию.
• В описательных тестах часто принимают участие
специально обученные эксперты, так как только они
могут определить тончайшие нюансы в
характеристиках продуктов.
Для чего используются
описательные тесты:
• для определения чувственных характеристик
«идеального» продукта при разработке нового
продукта,
• для выбора характеристик продуктов, которые будут
использоваться в тестировании с участием
потребителей
• для отслеживания изменений в чувственном
восприятии продукта
• при определении воспринимаемых характеристик
продукта для соотнесения их с физическими и
химическими свойствами
• для измерения краткосрочных изменений в
выраженности определенных характеристик с
течением времени.
Согласованное
профилирование
•
•
•
•
•
•
•
В этом тесте принимает участие от четырех до шести специально
обученных экспертов.
Они присваивают определенное значение различным характеристикам
продукта (аромат, вкус и т.п.) в зависимости от их выраженности в
продукте.
Для составления полного профиля продукта требуется повторить
процедуру несколько раз.
При первой встрече создается общее представление о продукте.
Последующие сессии позволяют достигнуть договоренности всех
экспертов относительно присвоенных рангов вкуса, запаха и т.п.
Эксперты должны достигнуть полного согласия в отношении
характеристик продукта.
Недостаток этого метода заключается в том, что человек с лидерскими
качествами, участвующий в тестировании, может сильно влиять на
мнение остальных участников.
Договорное профилирование.
•
•
•
•
•
•
•
•
•
•
•
•
•
В данном тесте принимает участие больше экспертов, чем в предыдущем случае
(обычно от 6 до 10 человек).
На начальной стадии составляется описание продукта (описывается внешность,
вкус, запах, структура).
В составлении описания принимают участие все эксперты.
На следующем этапе эти описания ранжируются лидером группы.
Далее они предоставляются группе для дальнейшего улучшения, определения
терминов и присвоения рангов.
В результате образцы ранжируются соответствующее количество раз для создания
дизайна теста.
Далее эти данные можно статистически обрабатывать
Большинство описаний ранжируются по шкале с фиксированными баллами.
Выраженность характеристики для удобства увеличивается слева на право.
Набор описаний создается строго для каждого отдельного теста и может включать в
себя все чувственные характеристики или только отдельные, например, вкусовые
или текстурные.
Образцы кодируются для уменьшения вероятности влияния экспертов друг на друга.
При оценке двух и более образцов, необходимо определить порядок оценки, чтобы
гарантировать, что все возможные комбинации образцов представлены одинаковое
количество раз.
Каждый участник дискуссии тестирует продукт в отдельном помещении, обсуждать
продукт с другими участниками запрещено.
Тест свободного выбора
• Тест свободного выбора предполагает участие менее
обученных экспертов, которые тестируют продукты,
основываясь на субъективных оценках.
• В тесте участвуют от 6 до 10 человек. Т
• ест может оценивать все возможные характеристики
продукта, а может ограничиваться определенным
набором характеристик.
• Здесь необходимо соблюдать порядок и пропорции и
следить за верностью кодировки.
Тесты приемлемости
(Аcceptance Tests)
• Тесты приемлемости используются для оценки приемлемости
продукта или для выяснения того, почему один товар является
более приемлемым, чем другой. В противоположность
описательным тестам, в тестах приемлемости принимают
участие потребители, ни в коем случае нельзя привлекать
обученных экспертов. Обязательно стоит помнить, что
приемлемость и предпочтения это разные вещи. Например,
человек может предпочесть один образец другому, но все равно
считать их оба неприемлемыми.
Тесты приемлемости могут быть использованы:
• для поддержания продукта на рынке, если его доля падает
• для улучшения или оптимизации продукта
• при создании нового продукта
• Тесты приемлемости могут быть проведены в формате Monadic,
Sequential Monadic или парного сравнения.