Метод экспертных оценок — плюсы и минусы

Добавлено в закладки: 0

Что такое экспертная оценка? Описание и определение понятия.

Экспертная оценка –  это оценка параметров процессов или предметов, которые невозможно непосредственно измерить, либо применить любые точные науки, поэтому оценка проводится на основании профессионального опыта специалиста, как одного, тогда экспертная оценка будет индивидуальной, так и нескольких, тогда экспертная оценка будет коллективной. Экспертная оценка может быть описательная, качественная, приблизительная, количественная и так далее. Помимо констатирования существующих фактов экспертная оценка может содержать прогноз дальнейшего развития или изменения ситуации, процесса, предмета.

Рассмотрим, более детально, что значит экспертная оценка .

Экспертная оценка – это диагностический метод измерения, процедура получения оценки проблемы на основе мнения специалистов (экспертов) с целью последующего принятия решения(выбора).

Виды экспертных оценок

Выделяют две группы экспертных оценок:

• Индивидуальные оценки (основываются на использовании мнения независимых друг от друга отдельных экспертов).
• Коллективные оценки (основываются на использовании только коллективного мнения экспертов).

Совместное (коллективное) мнение, безусловно, обладает наибольшей точностью, по сравнению с индивидуальным мнением каждого отдельного специалиста.

Этот метод применяется для получения количественных оценок и качественных характеристик и свойств.

Методы экспертных оценок

Существует несколько методов экспертных оценок:

1. Метод ассоциаций. Этот метод основывается на изучении похожего по свойствам объекта с другим объектом.
2. Метод парных (или бинарных) сравнений. Это метод основывается на том, что эксперт четко сопоставляет альтернативные варианты, из которых надо выбрать наиболее подходящие или предпочтительные.
3. Метод векторов предпочтений. Это метод, при котором эксперт анализирует весь возможный набор альтернативных вариантов и выбирает наиболее предпочтительные из них.
4. Метод фокальных объектов. Этот метод основывается на перенесении признаков случайно (рандомно) отобранных аналогов на исследуемый объект.
5. Индивидуальный экспертный опрос. Это своего рода интервью или опрос в виде анализа экспертных оценок. Индивидуальный экспертный опрос подразумевает диалог между экспертом и заказчиком, в ходе которого заказчик ставит перед экспертом вопросы, ответы на которые очень существенны для достижения программных целей.
6. Под анализом экспертных оценок подразумевается, что эксперт заполняет индивидуально разработанный заказчиком формуляр, по результатам которого и производится всесторонний анализ проблемной ситуации, а также рассматриваются все возможные пути её решения. Эксперт выносит все свои соображения по данному вопросу в виде отдельного письменного документа.
7. Метод средней точки. Это метод основывается на том, что в процессе экспертной оценки формулируются два альтернативных варианта решения, один из которых менее предпочтителен, а другой, наоборот более предпочтителен. После этого эксперту необходимо подобрать третий альтернативный вариант, оценка которого расположена посередине, то есть между значений первой и второй альтернативы.

Этапы экспертного оценивания

Выделяют несколько этапов:

• Ставится цель исследования.
• Выбирается форма исследования и определяется бюджет проекта.
• Подготовительный этап ( в него включается процесс сбора всего необходимого: информационных материалов, бланков анкет, модератора процедуры и так далеее).
• Тщательно подбираются компетентные эксперты.
• Проведение самой экспертизы.
• Проводится полный анализ результатов (то есть обрабатываются экспертные оценки).
• Подготавливается и составляется отчет с результатами экспертного оценивания.

Постановка цели исследования

Перед тем как начать экспертное исследование, очень важно четко определить его цель (или проблему) и сформулировать соответствующий вопрос для экспертов.

Выбор формы исследования, определение бюджета проекта

Существующие виды экспертных оценок можно классифицировать по разным признакам:

1. По форме участия экспертов: заочное или очное. Если говорить о достоверности результатов, то очный метод экспертной оценки считается более качественным, так как он позволяет сосредоточить все внимание экспертов на решаемой проблеме, однако заочный метод тоже имеет свой огромный плюс – он может быть значительно дешевле, чем очный метод.
2. По количеству итераций (или повторов процедуры для повышения точности экспертной оценки) — различают итерационные (то есть много повторов) и одношаговые.
3. По решаемым задачам экспертные оценки подразделяются на генерирующие решения и оценивающие варианты.
4. По типу ответа экспертные оценки делятся на: ранжирующие, идейные, оценивающие объект в относительной или абсолютной (численной) шкале.
5. По способу обработки мнений экспертов: непосредственные и аналитические экспертные оценки.
6. По количеству привлекаемых экспертов: ограниченные или без ограничения. Обычно на практике используется от пяти до двенадцати человек экспертов.

Перечислим наиболее известные методы экспертных оценок:

• метод Дельфи,
• мозговой штурм и
• метод анализа иерархий.

У каждого метода существуют свои сроки проведения, а также потребность в экспертах. После того, как был выбран метод экспертного оценивания можно уже определять затраты на процедуру экспертной оценки – сюда включается оплата услуг экспертов, аренда помещения, приобретение канцтоваров, оплату специалиста по проведению и анализу результатов экспертизы и так далее, тому подобное.

Стоит избегать следующих ошибок: упоминать разработчиков материалов, каким-то образом выделять тот или иной вариант решения или намекать на него, выражать (прямо или косвенно) отношение руководства к ожидаемым результатам.

Данные должны быть разносторонние, а мнения и суждения экспертов непредвзятые и нейтральные. Необходимо заранее разработать бланки анкет для экспертов.

В зависимости от метода они могут быть с открытыми и закрытыми вопросами, ответ может даваться в виде суждения, парного сравнения, ранжированного ряда, в баллах или же в виде абсолютной оценки.

Саму процедуру проводит независимый модератор процедуры, который обязательно контролирует соблюдение регламента, раздает необходимые материалы и анкеты, но сам своё мнение не высказывает.

Подбор экспертов

Эксперт должен обладать соответствующим профессиональным опытом и развитой на его основе интуицией.

Обычно к эксперту предъявляются такие требования:

1. уровень общей эрудиции должен быть высокий;
2. оценки эксперта должны быть стабильны во времени;
3.  эксперт должен владеть дополнительной информацией, что будет только подтверждать его оценку по данному вопросу;
4. у эксперта должен быть богатый исследовательский и практический опыт, а также репутация признанного специалиста в данной области знаний;
5.  далеко не последнюю роль играет наличие психологической установки на будущее;
6.  эксперт должен обладать способностью к адекватному отображению тенденций развития исследуемого объекта;
7.  и последнее — эксперт не должен быть незаинтересован в каком-то определенном или конкретном результате прогноза.

Проведение экспертизы

Проведение экспертизы может отличаться от случая к случаю в зависимости от того, какой метод был выбран для использования. Общие рекомендации по этому вопросу следующие:

• Необходимо препятствовать давлению авторитетов (эксперт, как правило, часто боится противоречить мнению большинства или, например, наиболее уважаемого специалиста).
• Необходимо установить и жестко соблюдать установленный регламент. Замечено, что увеличение времени на принятие решения сверх оптимального не повышает точность ответа.
• Анализ результатов (или обработка экспертных оценок).

Основные этапы обработки экспертных оценок:

1. определение компетентности приглашенных экспертов;
2. определение их обобщенной оценки;
3. построение обобщенной ранжировки объектов в случае нескольких оцениваемых объектов или альтернатив;
4. определение зависимостей между ранжировками;
5. оценка степени согласованности мнений экспертов. Если значимая согласованность экспертов отсутствует, то необходимо во-первых выявить причины несогласованности, а во-вторых – признать отсутствие согласованного мнения (это так сказать ничтожные результаты);
6. оценка ошибки исследования;
7. построение модели свойств объекта (объектов) на основе ответов экспертов (для аналитической экспертизы);
8. подготовка отчёта (с указанием цели исследования, состав экспертов, полученная оценка и анализа результатов).

Подходы к  экспертным оценкам

Методы экспертных оценок основаны на использовании экспертной информации. Они помогают установить степень сложности и актуальности проблемы, определить основные цели и критерии, выявить важные факторы и взаимосвязи между ними, выбрать наиболее предпочтительные альтернативы.

Прогнозные экспертные оценки – они отражают индивидуальность суждения каждого из специалистов относительно эффективности, безопасности, расхода ресурсов, а также перспектив развития объекта. Основаны прогнозные экспертные оценки как правило на мобилизации профессионального опыта и интуиции экспертов.

• Интуитивные (или экспертные) методы исследований используются для анализа и диагностики состояния, для последующего прогнозирования вариантов развития объектов (особенно в тех случаях, где обьект не поддается предметному описанию или математической формализации;
• Также интуитивные методы используются когда нет достаточной и достоверной статистики по характеристикам исследуемого объекта, или в условиях большой неопределенности среды функционирования объекта, например,рыночной среды или в экстремальных ситуациях.
• Степень достоверности экспертизы устанавливается по абсолютной частоте, с которой оценка эксперта в конечном итоге подтверждается последующими событиями.
• Кроме того, известны два подхода к использованию экспертов: индивидуальные оценки и групповые.
• Методы коллективной работы экспертной группы предполагают получение общего мнения в ходе совместного обсуждения проблемы, которая решается.
• Методы получения индивидуального мнения членов экспертной группы основываются на том, что сначала получают предварительную информацию от экспертов, которых опрашивают независимо друг от друга, а потом полученные данные обрабатываются.

Индивидуальные мнения экспертов состоят в том, что каждый из них дает оценку независимо от других, а затем с помощью какого-либо приема эти оценки объединяются в одну общую оценку. Представляются индивидуальные экспертные оценки в виде оценок типа интервью или в виде аналитических записок.

Коллективные методы экспертизы основываются на групповой работе экспертов и получении суммарной оценки от всей группы специалистов в целом. Среди коллективных методов самым распространенным является метод мозговой атаки (это метод коллективной генерации идей или же метод группового рассмотрения с отнесенной оценкой), а также и метод Дельфи.

Следует заметить, что основной задачей экспертной оценки является максимальное приближение к истине. Экспертное оценивание становится способом получения недостоверной информации только в тех случаях, когда плохо подобраны специалисты и некачественно организована их работа.

После того, как эксперты выносят свою оценку, исследователь проверяет индивидуальные суждения экспертов, анализирует совокупности мнений экспертов с целью установления степени согласованности их между собой, а   в случае наличия существенных расхождений в оценках выявляет причины разных мнений и определяет влияние компетентности экспертов на содержание их оценок и обоснований.

Экспертные ошибки

Характеризуя экспертов, стоит учитывать, что в результате выработки оценок могут иметь место ошибки двух видов:

1.  систематические ошибки. Если эксперт склонен к систематическим ошибкам, он выдает значения, которые устойчиво отличаются от истинного в сторону или увеличения или уменьшения. Предполагается, что такие ошибки связаны в первую очередь со складом ума экспертов. Для коррекции систематических ошибок можно применять поправочные коэффициенты или же использовать специально разработанные тренировочные игры.
2.  случайные ошибки. Случайные ошибки могут изменяться от одной экспертной оценки к другой и характеризуются они величиной дисперсии.

Повторная экспертная оценка

Применимость метода экспертных оценок

Экспертные оценки применяются на любом этапе исследования: в определении цели и задачи самого исследования, в построении и проверке гипотез, при выявлении проблемных ситуаций, в ходе интерпретации какиех-либо процессов, событий или фактов, для обоснования адекватности используемого инструментария, в процессе выработки рекомендаций и т.д. Экспертные методы оценки применяют в ситуациях, когда выбор, обоснование и оценка  решений не могут быть выполнены на основе точных расчетов.

Мы коротко рассмотрели экспертная оценка, ее этапы, методы и виды, а также ошибки

Оставляйте свои комментарии или дополнения к материалу.

Источник: https://biznes-prost.ru/ekspertnaya-ocenka.html

16.3 Достоинства и недостатки метода экспертных оценок

Преимущества
экспертного оценивания были рассмотрены
в разделе 1.1. Вместе с тем, экспертные
оценки наряду с достоинствами имеют и
отдельные недостатки. Основные достоинства
и недостатки данных методов исследования
представлены в таблице 2.

Таблица 2

Достоинства и
недостатки экспертных методов исследования
[1]

Достоинства	Недостатки
1. Синтез опыта и интуиции дляполучения нового знания 2. Возможность полученияколичественных оценокв случаях, когда отсутствуют статистические сведения илипоказатель имеет качественную природу 3. Быстрота получения результатов	1. Достоверность и надежность результатовисследования зависят откомпетентности эксперта 2. Субъективность метода 3. Трудоемкость процедуры сбора информации 4. Потребность в высоко квалифицирован-ных специалистах для проведения опроса

Рассмотрим более
подробно ограничения экспертных методов.
Одним их основных недостатков является
то, что достоверность и надежность
исследования в первую очередь зависят
от компетентности специалистов,
участвующих в опросе. Нет никаких
гарантий, что полученные оценки в
действительности достоверны.

Существующие
способы определения достоверности
экспертных оценок основаны на
предположении, что в случае согласованности
мнений экспертов достоверность оценок
гарантируется.

С этим утверждением не
всегда можно согласиться, так как
известны случаи, когда отдельные
эксперты, не согласные с мнением
большинства, давали правильные оценки.

Дело в
том, что при обсуждении многих вопросов,
особенно нестандартных, а в маркетинге
и рекламе они практически все нестандартные,
должны участвовать эксперты высокой
квалификации.

Прогнозы, составленные
«средними» экспертами, будут основаны
в лучшем случае на традиционных, привычных
оценках, тогда как высококвалифицированные
специалисты обнаружат и оценят скрытые
факторы.

Зачастую оценки
экспертов не обладают достаточной
устойчивостью, т.е. эксперт может одни
и те же события при нескольких повторных
экспертизах оценить по-разному.

Чем
устойчивее оценки, тем больше можно им
доверять. Однако на практике повторная
экспертиза проводится крайне редко
вследствие организационных и финансовых
проблем, т.е.

имеются определенные
трудности в проведении опроса экспертов
и обработке полученных данных.

Достоверность
оценок можно повысить следующим образом.

Нужно проанализировать данные о
расхождениях экспертных оценок и их
действительных значений, найденных в
процессе реализации событий, и сделать
соответствующие переоценки компетентности
экспертов.

В частности, поставив оплату
труда экспертов в прямую зависимость
от уровня их компетентности. Экспертов,
обладающих низкой компетентностью, в
дальнейшем не привлекать к проводимым
экспертизам.

Источник: https://studfile.net/preview/1669809/page:3/

Содержание 2 введение 9 глава 1 основные сведения о квалиметрии 12

Преимущества: относительная технологическая простота применения, малые затраты времени на разработку и использование МОК.

Недостатки: большая трудоемкость, связанная с необходимостью привлечения в качестве экспертов многих квалифицированных специалистов; относительно большая погрешность и малая надежность итоговых результатов.

2.3.2. Неэкспертные методы

Преимущества: малая трудоемкость, связанная с отсутствием необходимости привлечения в качестве экспертов многих квалифицированных специалистов; относительно малая погрешность и большая надежность итоговых результатов.

Недостатки: относительная технологическая сложность и большие затраты времени на разработку МОК.

2.3.3. Особенности технологии экспертного оценивания качества

Ключевая фигура в процессе оценивания качества – лицо, разрабатывающее МОК (далее ЛРМ). ЛРМ может самостоятельно, без чьей-либо помощи разработать МОК только в том случае, если оцениваемый объект – несложный и, кроме того, используется не экспертный или смешанный, а аналитический метод.

Но, если применяются экспертный или смешанный методы и, значит, в разработке (а иногда — и в использовании) МОК участвует несколько человек, то возникает вопрос – как целесообразно построить их работу? Должны ли все они быть универсальными специалистами (когда каждый может выполнять любую работу) или же желательно обеспечить их специализацию?

Опыт показывает, что в этой сфере деятельности специализация более предпочтительна, чем универсальность. Поэтому ниже рассматривается вопрос – какие целесообразно выделить группы участников разработки МОК и как это должно делаться? В общем случае для разработки (а иногда – и для использования) МОК создаются 3 группы: организационная, техническая и экспертная.

2.3.3.1. Формирование организационной группы

Организационная группа (далее ОГ) создаются для методического руководства разработкой МОК. Возглавляет ее ЛРМ.

Если объект оценки является сложным (например, уровень жизни в крупном студенческом городке), а лимит времени на разработку МОК небольшой (например, для упрощенного способа оценивания качества – не больше 1,5 месяца), то в ОГ включаются 1 – 2 специалиста по оцениваемому объекту. Их основная задача – оказать помощь ЛРМ в методическом руководстве разработкой МОК. Если же помощь дополнительных специалистов ЛРМ не нужна, то функции ОГ выполняет сам ЛРМ.

2.3.3.2. Формирование технической группы

Техническая группа (далее ТГ), иногда ее называют рабочей группой, формируется для технического обеспечения создания МОК – т.е. выполнения работ: чертежных, вычислительных, сбора информации, набора текста и др.

ТГ подчиняется ЛРМ или, по его указанию, другому члену ОГ.

Численный состав ТГ составляет от 0 (когда оценивание качества производится, например, в рамках лично порученной сотруднику не очень объемной работы) до трех человек (когда задан малый срок разработки сложной МОК – меньше месяца). Обычно же в ТГ входит 1 – 2 человека. Время их работы в ТГ может быть непрерывным (например, 25 дней) или разбито на отрезки (25 дней в течение трех месяцев работы ОГ).

2.3.3.3. Определение требуемой численности экспертной группы

Для упрощенного метода оценивания качества целесообразна численность экспертной группы (далее ЭГ) составляет от 7 до 10 человек, в зависимости от сложности объекта.

В отдельных случаях, когда времени на разработку МОК мало (например, не больше месяца), а оцениваемый объект – сложный (например, качество подготовки студентов в регионе или даже в стране), бывает необходимым сформировать не одну, а две или даже три ЭГ, численностью по 7 – 10 человек. В этом случае каждая ЭГ специализируется на отдельных группах свойств объекта и работает параллельно, независимо от других (под руководством одного из членов ОГ).

Если же МОК разрабатывается не упрощенным, а приближенным или тем более точным методом, то применяется более сложный (но и более точный) способ определения численности ЭГ. Он основан на двух основных положениях.

Первое. Чем больше экспертов, тем, при прочих равных условиях, выше достоверность коллективной экспертной оценки qэ, т.е. меньше относительная погрешность  и выше доверительная вероятность (надежность) , с которой вычислено значение qэ.

• Причем:
•  =
• где: qист – истинное значение той характеристики, которая определяется экспертным методом;
• q – абсолютная погрешность, определяющая доверительный интервал:
• q =  qист – qэ .

Второе. Чем больше априорной (предварительной) информации известно ОГ относительно ЭГ и выносимых ею оценках, тем, при прочих равных условиях, может быть меньше численность экспертов.

В монографии по теоретической квалиметрии [2] для многих из встречающихся на практике случаев (а общее их число около 100) приводятся формулы, по которым можно рассчитать требуемое число экспертов (с учетом двух вышеприведенных положений).

2.3.3.4. Формирование экспертной группы

Обычно каждый эксперт тратит на работу в составе ЭГ от одного до семи дней (в зависимости от сложности объекта). Причем, это не непрерывный отрезок времени, а сумма отдельных небольших отрезков, продолжительностью 0,5 – 1 день.

Выбор экспертов (при упрощенном методе оценивания качества) производится ОГ в следующем порядке.

Из специалистов, хорошо знающих оцениваемый тип объекта, отбирается группа потенциальных экспертов, численностью на 2 – 5 человек больше, чем предположено иметь в ЭГ (как уже говорилось, для упрощенного метода это количество равно 7 — 10).

Рассмотрим сущность каждого из приведенных на рис. 2 свойств.

Компетентность – всестороннее знание экспертом оцениваемого объекта и методов оценивания его качества.

Уверенность – убежденность эксперта в правильности вынесенной им оценки.

Объективность – способность эксперта быть объективным, т.е. при участии в экспертизе

Компетентность
Умеет работать	Уверенность
Может работать	Объективность
Качество эксперта	Успевает работать (деловитость)
Хочет работать (заинтересованность)

Рис. 2. Свойства, характеризующие качество эксперта

1. не поддаваться ведомственным, начальственным или личным («шкурным») интересам.
2. Деловитость – умение быстро выполнять порученную работу.
3. Заинтересованность – желание делать порученную работу.
4. Учитывая эти свойства, ОГ экспертным методом отбирает 7 – 10 экспертов, у которых они выражены в наибольшей степени.

Если же применяется не упрощенный, а приближенный или точный метод оценивания качества, то для каждого свойства эксперта применяется один (или несколько) специальных способов их количественного выражения (измерения).

Они излагаются в пособиях по экспертным методам [16] или [17]. Наиболее важным из свойств, характеризующих качество эксперта, является свойство «компетентность».

Поэтому при упрощенном способе в количественной форме обычно учитывается только это свойство.

• При этом, для нахождения значения показателя компетентности Kском , чаще всего используют два метода:
• — самооценки (когда самооценку эксперт дает себе сам, например, в баллах);
• — взаимооценки (когда каждого эксперта оценивают все остальные члены ЭГ и взаимооценка Kв ком определяется как среднее из их оценок).
• Расчетная формула (многократно апробированная на практике) выглядит так:
• Kком = 0,4Kс ком + 0,6Kв ком.

2.3.4. Квалиметрические шкалы

Результаты, полученные при квалиметрическом анализе (при оценивании качества), чаще всего выражаются в одном из трех видов шкал. (Здесь термин “шкалы” понимаются не в обыденном смысле — например, числовая шкала, безразмерная шкала, балльная шкала и др., а в том смысле, который вкладывается в этот термин в так называемой “математической теории измерений” [24]).

Сравним эти шкалы по основным характеристикам: по затратам на их применение (затратам труда и времени) и по результатам (количеству получаемой с помощью данной шкалы информации).

2.3.4.1.Шкала порядка (термины-синонимы: шкала рангов, порядковая шкала, ранговая шкала)

Затраты на использование ранговой шкалы – минимальные.

Результаты (объем полученной информации) — минимальны.

После оценивания качества объектов в этой шкале их можно только упорядочить в ряд, ранжированный по увеличению (или уменьшению) значения показателя качества. Но при этом оказывается невозможным определить, на сколько или, тем более, — во сколько раз один объект по качеству отличается от другого.

Например, пусть для двух объектов (А и Б) в результате оценивания их качества в какой-то количественной шкале (допустим, в балльной) получены следующие значения показателей их качества: КА = 60 баллов и КБ = 40 баллов. Причем, заранее известно, что информативность этой шкалы не превышает возможности шкалы порядка. В этом случае было бы неправильным вычислять соотношения:

КА – КБ = 20 баллов и КА/КБ = 1,5.

Единственное же правильное заключение, которое можно сделать применительно к этому случаю: поскольку КА > КБ, то качество объекта А выше качества объекта Б.

Реальный пример измерения (но не качества, а температуры) в порядковой шкале: мать меряет ребенку температуру, прикладывая руку к его лбу.

Здесь повышение температуры измеряется в шкале порядка: мать может сказать, повышена ли температура по сравнению с нормальной или нет, но не может сказать, на сколько десятых градуса (или, тем более, – во сколько раз) она повышена.

(Как определить вид шкалы будет пояснено в одной из последующих глав этого учебного пособия).

2.3.4.2. Шкала интервалов (термин-синоним: интервальная шкала)

Затраты – больше, чем для шкалы рангов (приблизительно на полпорядка).

Результаты (объем получаемой информации) те же, что и для порядковой шкалы, плюс дополнительная информация: на сколько один объект отличается по качеству от другого (т.е., применительно к предыдущему примеру, правомерно вычислять разность: КА– КБ = 20 баллов, но не правомерно пытаться определить отношение: КА / КБ = 1,5).

Обращаясь к уже использовавшемуся для иллюстрации примеру с измерением температуры, можно сказать, что в шкале интервалов производится измерение ее в градусах Цельсия (или в шкале Фаренгейта).

2.3.4.3. Шкала отношений

Затраты – самые большие (приблизительно на один – полтора порядка больше, чем для ранговой шкалы).

Результаты – те же, что и для шкалы интервалов, плюс дополнительная информация: во сколько раз один объект отличается по качеству от другого (т.е. вычислять отношение КА / КБ = 1,5 – вполне правомерно).

Пример использования шкалы отношений – измерение температуры в шкале Кельвина.

Из рассмотренных выше трех типов шкал на практике чаще всего употребляются шкалы порядка и отношений. В дальнейшем в основном будут рассматриваться именно эти два типа шкал.

2.4. Алгоритм оценивания качества

Для квалиметрического анализа различных объектов в теоретической квалиметрии обоснована определенная последовательность выполняемых при этом этапов работы. Совокупность этих этапов может быть представлена в виде укрупненной блок-схемы алгоритма оценивания качества (табл.5).

Каждый прямоугольник в блок-схеме несет следующую информацию о соответствующем этапе алгоритма: цифры в левой части – порядковый номер этапа; аббревиатуры под этой цифрой – кто обеспечивает выполнение работы на этапе; текст в правой части прямоугольника – название этапа.

(Напомним, что данная блок-схема отражает только тот набор этапов, который соответствует упрощенному методу оценивания качества. Для приближенного и, особенно, точного метода этот набор значительно больше).

В последующих разделах будут рассмотрены отдельные этапы алгоритма (кроме этапов 1 и 3) оценивания качества упрощенным методом (табл.5).

Таблица 5

Укрупненная последовательность алгоритма оценивания качества упрощенным методом

№ этапа	Участники этапа	Содержание этапа
Разработка МОК
1	ЛПР	Выдача задания на разработку и использование МОК (осуществляет лицо, принимающее решение – ЛПР) и назначение ЛРМ (лица, разрабатывающего МОК)
2	ЛПР, ЛРМ	Определение ситуации оценивания
3	ЛПР, ЛРМ	Формирование групп участников разработки и использования МОК: ОГ, ЭГ и ТГ
4	ОГ, ЭГ	Построение дерева свойств и дерева показателей объекта
5	ОГ, ЭГ, ТГ	Определение значений коэффициентов важности показателей свойств
6	ОГ, ЭГ	Определение эталонных и браковочных значений показателей свойств
Использование МОК
7	ОГ, ЭГ	Определение значений абсолютных показателей свойств
8	ТГ	Определение значений относительных показателей свойств
9	ТГ	Определение значений показателя качества объектов

2.5. Определение ситуации оценивания

2.5.1. Сущность данного этапа

Как было показано в блок-схеме (cм. табл. 5), вся технология квалиметрического анализа в общем случае (то есть когда отсутствует готовая методика оценивания качества — МОК) состоит из двух частей: разработки МОК и использования МОК. Так вот, во время работы на этапе «Определение ситуации оценивания» закладывается вся последующая стратегия и разработки, и использования МОК.

Суть этого этапа заключается в том, что «лицо, разрабатывающее методику» (ЛРМ), получив от «лица, принимающего решение» (ЛПР), задание на разработку МОК, уточняет все связанные с таким заданием неясные вопросы. При этом всю недостающую информацию он получает путем обращения к ЛПР. Подобное уточнение необходимо, главным образом, для того, чтобы:

а) у ЛРМ была достаточная информация о свойствах, подлежащих включению в дерево свойств (разрабатываемое в ходе выполнения одного из последующих этапов);

К сожалению, после анализа большинства (известных из литературы) МОК становится очевидным, что при их создании не определяли ситуацию оценивания (или определяли её не в полном объеме).

И, в связи с этим, недостаточно правильно выбрали свойства, учитываемые при оценивании качества анализируемого объекта, а также затруднили пользователю МОК правильную интерпретацию получаемой на её основе информации.

В конечном итоге это приводит к тому, что получаемые с помощью подобных МОК оценки качества оказываются гораздо менее точными, чем этого можно было бы достичь при выполнении этапа «Определение ситуации оценивания».

Например, сплошь и рядом приходится сталкиваться с тем, что при квалиметрическом анализе во внимание принимается не всё множество характеризующих объект свойств, а только некоторое их подмножество (Так сделано, например, в большинстве отечественных и зарубежных методик оценивания качества образования в высшей школе). Но в теории квалиметрии доказано, что в такой ситуации полученные оценки качества уже не будут выражены в шкале отношений (обычно являющейся наиболее предпочтительной, поскольку с числами, представленными в этой шкале, можно производить любые арифметические операции). Шкалы, в которых в этом случае они будут представлены (шкала интервалов или, тем более, — шкала рангов) являются более «грубыми», чем шкала отношений. А потому допускающими производить над числами лишь ограниченное количество арифметических операций.

Но разработчики и пользователи таких МОК, из-за незнания указанного выше обстоятельства, обращаются с полученными оценками качества так, как если бы они были выражены в более «тонкой» шкале — т.е.

в шкале отношений. А поступать подобным образом — принципиально ошибочно. (Более подробно об этой и о других типичных ошибках будет сказано в одной из последующих разделов данного учебного пособия).

1. Вопросы, ответы на которые подлежат уточнению в ходе операции «Определение ситуации оценивания», разбиты на 3 группы, уточняющие особенности:
2. — применения объектов оцениваемого типа;
3. — использования вычисленных оценок качества;
4. — технологии разработки МОК.

Каждая из этих групп рассматривается ниже в одном из трех подразделов (1,2,3). Каждому вопросу посвящен один из пунктов подраздела. Содержание любого пункта излагается в одинаковой последовательности: сначала дается формулировка вопроса, а затем приводятся необходимые пояснения.

Источник: https://textarchive.ru/c-2802328-p7.html

Метод экспертных оценок в психологии

Сущность метода экспертных оценок заключается в проведении экспертами интуитивно-логического анализа проблемы с количественной оценкой суждений и формальной обработкой результатов. Получаемое в результате обработки обобщенное мнение экспертов принимается как решение проблемы.

Характерными особенностями метода экспертных оценок как научного инструмента решения сложных неформализуемых проблем являются:

• научно обоснованная организация проведения всех этапов экспертизы, обеспечивающая наибольшую эффективность работы на каждом из этапов,
• применение количественных методов как при организации экспертизы, так и при оценке суждений экспертов и формальной групповой обработке результатов.

• Особой разновидностью метода экспертной оценки является экспертный опрос (разновидность опроса, в ходе которого респондентами являются эксперты — высококвалифицированные специалисты в определенной области деятельности).
• Эксперт — это компетентное лицо, имеющее глубокое знания о предмете или объекте исследования.
• Метод подразумевает компетентное участие специалистов в анализе и решении рассматриваемой проблемы.
• В практике психологических и социологических исследований используется для:

• прогноза развития того или иного явления;
• оценки существующего состояния какого-либо явления;
• сбора предварительной информации о проблеме исследования (зондаж);
• оценки психолого-педагогических характеристик учащихся;
• оценки коллектива;
• аттестации персонала (в роли экспертов вступают руководители коллектива, общественных организаций или специальная аттестационная комиссия).

Достоинства метода экспертных оценок. Принимая решения о каком-либо диагнозе, мы обычно предполагаем, что информация, используемая для его обоснования, достоверна и надежна. Но для многих педагогических и психологических задач это предположение не удается доказать.

Практика показывает, что основные трудности, возникающие при поиске и выборе решений, касающихся различных психологических ситуаций, обусловлены прежде всего недостаточно высоким качеством и неполнотой имеющейся статистической информации или невозможностью в принципе ее получения.

Тогда и приходит на помощь метод экспертов который позволяет взглянуть на проблему широко и увидеть возможное решение.

Надёжность оценок и решений, принимаемых на основе суждений экспертов, достаточно высока и в значительной степени зависит от организации и направленности процедуры сбора, анализа и обработки полученных мнений.

Однако надлежащим образом обработанная информация, полученная от группы экспертов, как правило, оказывается более достоверной и надежной.

Данный метод применить не удастся, когда:

• исходная статистическая информация недостаточно достоверна;
• некоторая часть информации имеет качественный характер и не поддается количественной оценке;
• в принципе необходимую информацию получить можно, однако в момент принятия решения она отсутствует, поскольку это связано с большими затратами времени или средств;
• существует большая группа факторов, которые могут повлиять на реализацию решения в будущем, но их нельзя точно предсказать.

Требования к экспертной группе. Достоверность группового экспертного оценивания зависит от общего числа экспертов в группе, долевого состава различных специалистов в группе, от характеристик экспертов.

Сложной проблемой является формирование системы характеристик эксперта, которые могут существенно повлиять на ход и результаты экспертизы. Эти характеристики должны описывать специфические свойства специалиста и возможные отношения между людьми, влияющие на экспертизу.

Отбор экспертов, формирование экспертных групп — достаточно сложная задача, результат которой в наибольшей степени определяет эффективность метода и правильность полученных решений. Подбор специалистов для участия в экспертном опросе начинается с определения научных, технических и административных проблем, непосредственно связанных с решением поставленной задачи.

Составляется список компетентных в необходимых областях лиц, который служит основой для выбора экспертов. Эксперт в полном смысле этого слова — активный участник научного исследования. Попытка скрыть от него цель исследования, превратив, таким образом, в пассивный источник информации, чревата потерей его доверия к организаторам исследования.

Формирование группы потенциальных экспертов начинается с метода «снежного кома». Оценив число возможных кандидатов в эксперты, решается вопрос о численности экспертной группы.

Оптимальное количество вряд ли возможно определить точно, но очевидно, что в малой группе экспертов на итоговую оценку оказывает излишнее влияние оценка каждого из экспертов. Слишком большое число экспертов затрудняет формирование согласованного мнения.

Кроме того, при увеличении числа участников уменьшается роль нестандартных мнений, отличающихся от мнения большинства, но не всегда оказывающихся неправильными.

В то же время привлечение большого числа экспертов позволяет хотя бы частично компенсировать недостаток информации, полнее использовать индивидуальный и коллективный опыт, учесть предположения специалистов о будущих состояниях объектов.

Тем не менее, можно установить некоторые общие требования, подразумевающие реестр качеств, которыми должен обладать «идеальный» эксперт, с которым предпочтительно работать:

• компетентность потенциального эксперта в исследуемой области,
• эрудированность в смежных областях,
• стаж научной или практической работы в определённой сфере,
• должностное положение,
• принципиальность,
• объективность,
• способность творчески мыслить,
• интуиция.

Для отбора специалистов в рабочую группу используют некоторые простые статистические способы и приемы, а также их комбинацию:

1. экспериментальный (с использованием тестирования, проверки эффективности их прежней экспертной деятельности);
2. документальный (на основе социально-демографических данных);

Источник: https://psyera.ru/metod-ekspertnyh-ocenok-v-psihologii_8117.htm

Экспертные методы оценки в маркетинговых исследованиях

Метод экспертной оценки довольно популярен при проведении маркетинговых исследований в первую очередь, потому что может дать компетентную характеристику тому или иному исследованию, указать его плюсы и минусы.

 Метод экспертной оценки относят чаще всего к неформальным методам, так как он строится не на математическом и строго логическом подходе, а на чисто эвристическом. Его могут применять на любой стадии маркетингового исследования.

Однако чаще всего он используется, когда нужно построить прогноз какого-либо явления или развития проблемы.

По своей сути экспертные оценки незаменимы, так как дают возможность компании интерпретировать полученные в результате каких-либо методов данные.

Однако его первым недостатком считается субъективность, которая может быть присуща любому мнению.

Кроме того, метод экспертной оценки довольно затратное мероприятие, в первую очередь, потому что экспертных оценок всегда должно быть несколько хотя бы потому что чем их больше, тем объективнее будет результат.

В методе экспертной оценки главная роль отводится самому эксперту, потому как очень важно обладать информацией о том, какова его квалификация, насколько он объективен и компетентен. Исследователи отмечают, что экспертная оценка хороша тем, что способна дать анализ как количественной, так и качественной информации. 

Как правило, используются два метода:

• групповой экспертизы
• индивидуальной экспертизы

Индивидуальный метод вовсе не предполагает наличие оного эксперта. Это означает, что специалисты работают с каждым экспертом отдельно. Это, кстати, очень удачный вариант, потому как впоследствии можно сравнить мнения каждого эксперта.

На этом этапе могут применяться как, например, стандартизированные опросы, а проще говоря, анкеты, когда эксперту просто предлагают выбрать варианты ответа, так и глубинные интервью, котоые предполагают серьёзное изучение вопроса, мнение конкретного эксперта.

Групповые методы экспертной оценки применяются тогда, когда, проблема требует того, что называют «мозговым штурмом», причём не со стороны сотрудников компании, а со стороны компетентных людей. То есть иными словами, проблема должна касаться сложных бизнес-процессов и подобных вещей.

Кстати, в групповом методе также есть различные подходы к анализу информации.

А в случае если группе экспертов не просто нужно высказать мнение, но и решить проблему, выдвинуть варианты её разрешения, сгенерировать какую-то идею, такой подход называют «креативным».

В целом, форм работы с экспертами существует великое множество. От «метода суда», когда весь процесс обсуждения проблемы по структуре схож с судебным, до метода «консилиума» и т д. В целом, все они по большому счёту предполагают коллективное обсуждение проблемы, которое строится по определённому сценарию.

Однако стоит остановиться на «Методе Дельфи», который, кстати, довольно популярен при экспертной оценке в маркетинговых исследованиях. Этот метод интересен тем, что проходит в несколько этапов и сочетает в себе как индивидуальную, так и групповую работу, а полученная информация будет и качественной и количественной.

Здесь используются как формальные опросы и анкеты, так и коллективные беседы, и индивидуальные интервью.

Источник: https://www.ovtr.ru/stati/ekspertnaya-ocenka

Метод экспертной оценки

• Содержание
• Введение
• . Метод экспертной оценки
• .1 Экспертные методы в социальном прогнозировании
• .2 Экспертный опрос
• .3 Метод «Дельфы»
• . Применение методов экспертной оценки в социальной работе
• Заключение
• Список используемой литературы
• Введение

Социальная работа является объектом изучения различных наук.

Социология рассматривает социальную работу как явление общественной жизни. Методы социологии широко используются в деятельности социальных работников.

При сборе первичной социологической информации для массовых опросов используются такие методы как анкетирование, интервьюирование. Их особенность заключается в том, что они направлены на выявление информации, которая отражает знания, мнения, ценностные ориентации и установки респондентов, их отношение к событиям, явлениям действительности.

Однако, на практике часто возникает ситуация, когда выделить объект (носителя проблемы) очень сложно, и, следовательно, невозможно использовать объект в качестве источника информации. Подобная информация может исходить только от компетентных лиц — экспертов, имеющих глубокие знания о предмете или объекте исследования.

1. Чаще всего такие ситуации связаны с попыткой прогнозирования изменения того или иного социального явления, процесса; с необходимостью представить состояние интересующего предмета через несколько лет или дать объективную оценку таким сторонам деятельности и качествам людей, по которым их самооценка может оказаться искаженной.
2. Экспертный метод оценки в значительной мере может обеспечить объективность, многосторонность, комплексность и компетентность принимаемых решений.
3. Цель данной работы: рассмотреть метод экспертной оценки в социальном прогнозировании.
4. Работа состоит из введения, основной части, заключения и списка литературы.

Экспертная оценка

…

, проводимого в целях изучения личности студента. Диагностическая сущность метода экспертной оценки состоит в получении объективной информации об индивидуально-психологических особенностях, в результате специально организованного …

1. Метод экспертной оценки

.1 Экспертные методы в социальном прогнозировании

Процесс исследования социального объекта или явления путем распознавания и изучения причинно-следственных связей, отношений, характеризующих его состояние и тенденции развития, называется социальная диагностика.

Цель диагностики заключается в проникновении в сущность конкретных социальных проблем, присущих объекту или явлению, и их описание в системе показателей (норм, нормативов, ориентиров диагностируемой сферы жизнедеятельности).

Способами, специальными приемами ведения социальной диагностики являются методы, которые условно можно подразделить на две основные группы: методы проведения диагностического исследования и методы анализа диагностической информации, определения проблем.

К числу второй группы относят: метод классификации; метод корреляции; метод сравнительного анализа проблем; метод контент-анализа; экспертные методы, ранжирования альтернатив; метод дифференциации и др.

Под экспертными методами понимают комплекс процедур, направленных на получение от специалистов информации, ее анализ и обобщение с целью подготовки и выработки рациональных решений.

Экспертные методы в социальном прогнозировании исходят из накопленного опыта, знания особенностей функционирования, жизнедеятельности и развития объекта исследования.

При формировании группы экспертов необходимо учитывать ряд критериев: род занятий, стаж работы, уровень и характер образования, опыт общественно-политической жизни, возраст и т. д. При отборе экспертов необходимо руководствоваться целями и задачами исследования.

Биографический метод в психологии развития

…

внесла свой вклад в развитие биографического метода. В психологии биографический метод многим обязан психоанализу. … с изучаемыми лицами. Они занимают позицию эксперта собственного жизненного пути.

В нашей … без истории жизни нельзя понять современного состояния личности и ее актуального поведения, … группе, не доступные постороннему наблюдателю. Первые исследования в социологии с применением метода …

• Факт применения экспертных методов связан с исследованием перспектив развития потребностей и интересов личности или социальной группы, мотивов деятельности людей и их ценностных ориентаций.
• Осуществление экспертной оценки предполагает учет следующих состояний:
• состояния отдельной сферы общества (духовной, социальной, политической);
• состояния любого его элемента (образования, медицины, культуры);
• состояния его компонентов (студенческая экономика, социальная защита пенсионеров, инвалидов);
• а также учет ряда обязательных положений методических требований.
• Экспертный методв своем осуществлении предполагает прохождение двух этапов:
• оценка исходной ситуации;
• анализ характера функционирования социальных служб.
• Первый этап включает в себя оценку следующих моментов:
• ) факторов, определяющих неудовлетворительное состояние;
• ) направлений, тенденций, наиболее характерных для данного состояния ситуации;
• ) особенностей, специфики развития наиболее важных составных «частей» (отрасли, структуры, службы);
• ) наиболее характерных форм работы, средств, с помощью которых осуществляется деятельность.

Второй этап представляет собой анализ деятельности тех организаций, служб, которые осуществляют эту деятельность. В контексте социальной работы к таким организациям и службам можно отнести: государственные социальные службы; общественные фонды и организации; самодеятельные организации; благотворительность, спонсорство, частные инициативы и т. д.

Социальная работа как профессиональный вид деятельности

…

участия в ней разных групп социальных работников, видов учреждений, экспертов смежных научных дисциплин и сфер …

заимствованные из социологии: анкетный опрос в целях выяснения биографических данных, мнений, социальных установок, ценностных ориентаций, … деятельность социальных служб; 10.

Рекламно-проiгагандастская функция — организация рекламы социальных услуг, пропаганда идей социальной защиты человека …

1. Среди экспертных методов можно назвать следующие.
2. Индивидуальные прогностические оценки экспертов — ведущих специалистов в данной области, основаны на предварительном получении информации от экспертов, опрашиваемых независимо друг от друга, с последующей обработкой полученных данных.
3. К этим мeтoдaм мoжнo oтнecти мeтoды aнкeтнoгo oпpoca, интepвью и мeтoды «Дeльфи».

Оcнoвныe пpeимyщecтвa мeтoдa индивидyaльнoгo экcпepтнoгo oцeнивaния cocтoят в иx oпepaтивнocти, вoзмoжнocти в пoлнoй мepe иcпoльзoвaть индивидyaльныe cпocoбнocти экcпepтa, oтcyтcтвии дaвлeния co cтopoны aвтopитeтoв и в низкиx зaтpaтax нa экcпepтизy. Глaвным иx нeдocтaткoм являeтcя выcoкaя cтeпeнь cyбъeктивнocти пoлyчaeмыx oцeнoк из-зa oгpaничeннocти знaний oднoгo экcпepтa.

Методы коллективной работы экспертной группы предполагают получение общего мнения в ходе совместного обсуждения решаемой проблемы. Иногда эти методы называют методами прямого получения коллективного мнения. Основное преимущество этих методов заключается в возможности разностороннего анализа проблем.

Недостатками методов является сложность процедуры получения информации, сложность формирования группового мнения по индивидуальным суждениям экспертов, возможность давления авторитетов в группе. Мeтoды кoллeктивнoй paбoты включaют мeтoды «мoзгoвoй aтaки», «cцeнapиeв», «дeлoвыx игp», «coвeщaний» и «cyдa».

Здесь особо отметим метод «мозговой атаки» — метод коллективной генерации идей.

Предпосылкой мозговой атаки является предположение, что чем больше идей и чем они разнообразнее по качеству, тем больше шансов, что среди них окажутся необходимые идеи.

Метод опроса в социально-психологическом исследовании

…

, которая анализируется); симптоматическое опрос (достаточное знание у респондента общей информации без глубокого осмысления целей и задач исследования); экспертный опрос (опрос специалистов по изучаемой теме …

к числу наиболее распространенных методов сбора первичной информации в социально-психологических исследованиях. Цель опроса состоит в получении информации об объективных и (или) субъективных ( …

В ходе мозговой атаки обсуждение строится таким образом, чтобы стимулировать творческую активность участников, обеспечить их взаимовлияние, вызвать своеобразную «цепную реакцию идей» и тем самым добиться получения качественно новой информации. Фазы мозговой атаки: генерация идей, уточнение и оценка. Эти фазы поочередно переходят одна в другую.

Основные принципы организации мозговой атаки: принцип отложенного обсуждения и принцип активизации креативного мышления.

Ключевое звено организации работы экспертов при мозговой атаке — запрет на критику любого мнения, оценки или рекомендации, высказанных во время обсуждения, поскольку иногда оптимальное решение может не быть предложено из-за боязни его автора услышать критику в свой адрес.

Источник: https://forpsy.ru/works/referat/metod-ekspertnoy-otsenki/