6.6. Метод експертних оцінок

магниевый скраб beletage

Існують ситуації, коли із різних причин, значною мірою в зв'язку з відсутністю достовірної інформації, використання статистичних чи розрахунково-аналітичних методів не надається можливим. У таких випадках широко застосовуються методи, що використовують результати досвіду й інтуїцію, тобто евристичні чи методи експертних оцінок.

Особливістю даного методу є відсутність строгих математичних доказів оптимальності рішень. Загальною спрямованістю цього методу є використання людини як "вимірювального" приладу для одержання кількісних оцінок процесів і суджень, що через неповноту і невірогідність наявної інформації не піддаються безпосередньому виміру.

Загальна схема експертних опитувань включає наступні основні етапи: підбір експертів і формування експертних груп; формування питань і складання анкет; робота з експертами; формування правил визначення сумарних оцінок на основі оцінок окремих експертів; аналіз і обробка експертних оцінок (рис. 6.1).

Формування правил визначення узагальнених оцінок на основі оцінок окремих експертів

Аналіз і обробка експертних оцінок

Рисунок 6.1 - Загальна схема використання методу експертних оцінок

У практичній діяльності застосовуються як індивідуальні, так і групові (колективні) експертні оцінки.

Цілі індивідуальних експертних оцінок:

прогнозування ходу розвитку подій і явищ у майбутньому, а також оцінка їх у сьогоденні. Стосовно до аналізу й оцінки ризику це виявлення джерел і причин ризику, прогнозування дій конкурентів, установлення всіх можливих ризиків, оцінка ймовірності ризикових подій, призначення коефіцієнтів відносної важливості (значимості наслідку) і ранжирування ризиків, виявлення шляхів зниження ризику тощо;

аналіз і узагальнення результатів, представлених іншими експертами;

складання сценаріїв дій;

видача висновків іншим фахівцям і організаціям (рецензії, відзиви, експертизи тощо).

Позитивною особливістю індивідуальної експертизи є оперативність одержання інформації для ухвалення рішення і відносно невеликі витрати. Як недолік варто виділити високий рівень суб'єктивності і, як наслідок, відсутність впевненості у ймовірності отриманих оцінок. Зазначений недолік покликаний усунути чи послабити групові експертні оцінки.

Виділяють типи групових експертних процедур: відкрите обговорення поставлених питань з наступним відкритим чи закритим голосуванням

вільне висловлення без обговорення і голосування закрите обговорення з наступним закритим голосуванням чи заповненням анкет експертного опитування.

Для проведення анкетного опитування складається оцінювальний лист та шкала оцінки. При цьому обов'язково окрім, самого ризику або ймовірності появи ризикової ситуації, передбачається оцінка ваги впливу кожного фактора на показники ризику. Приклад оцінювального бланку наведено в таблиці 6.11.

Таблиця 6.11

Оцінювальний бланк експертної оцінка

Подія (дія, операція)

Вага (В)

Оцінка ризику (Р)

Підсумкова оцінка (В х Р)

1

2

3

1

2

3

4

Порушення графіку поставки

 

 

 

 

 

 

 

 

Порушення обсягу поставки

 

 

 

 

 

 

 

 

Поставка неякісної продукції

 

 

 

 

 

 

 

 

і т.ін.

 

 

 

 

 

 

 

 

У даному прикладі пропонується трьохбальна шкала визначення ваги події (дії, операції):

бали - високий ступінь впливу події на економічний стан (організацію діяльності) підприємства;

бали - середній ступінь впливу події на економічний стан (організацію діяльності) підприємства;

бал - низький ступінь впливу події на економічний стан (організацію діяльності) підприємства.

Шкала оцінки ризику може відповідати емпіричній шкалі оцінки ризику:

5 балів - критичний ризик (0,81 - 1);

бали - максимальний ризик (0,61 - 0,8);

бали - високий ризик (0,41 - 0,6);

бали - нормальний ризик (0,31 - 0,4);

бал - малий ризик (0 - 0,3).

В залежності від мети, технології проведення експертної оцінки, складу експертів тощо може використовуватися соціологічна шкала оцінки ризику:

балів - високий ризик;

бали - ризик скоріше високий ніж низький;

бали - середній ризик;

бали - ризик скоріше низький, чим високий;

1 бал - низький ризик.

Процесу групового обговорення в порівнянні з індивідуальними оцінками притаманні деякі відмінні риси: колективні оцінки, як правило, менш суб'єктивні, і рішення, прийняті на їхній основі, зв'язані з більшою ймовірністю здійснення. Використовуючи групові експертні процедури, припускають, що при рішенні проблем в умовах невизначеності думка групи експертів надійніше, ніж думка окремого експерта, тобто, дві групи однаково компетентних експертів з більшою імовірністю дадуть аналогічні відповіді, ніж два експерти. Передбачається також, що сукупність індивідуальних відповідей експертів повинна включати "щиру" відповідь.

При вивченні незмірних показників ризику важливо встановити їх значущість, вибрати найбільш суттєві серед них для впливу на хід процесу , що вивчається, усунення негативних дій і посилення позитивного впливу. При виникненні потреби в кількісній оцінці незмірних факторів застосовують методи рангової кореляції, що засновані на експертних оцінках.

В цілях вивчення процесу формують групу експертів. За допомогою системи балів (рангів) експерти оцінюють силу дії кожного фактору на вибраний показник. Заздалегідь обмовляється порядок розподілу рангів. Найбільший ранг слід привласнювати самому значущому, на думку експерта, фактору.

Пропонована експертам анкета не має бути громіздкою, бо інакше буде ускладнена оцінка фактору. Вважається, що число факторів не повинне перевищувати 15. Якщо їх більше, то проводиться відсіювання менш істотних шляхом парних порівнянь факторів між собою. Число експертів має бути великим, в 2-3 рази що перевершує кількість чинників, щоб була забезпечена об'єктивність оцінних результатів. У цьому методі проявляється діалектичний принцип: необхідність прокладає собі дорогу через масу випадковостей. Кожен експерт висловлює своє суб'єктивне судження про значущість чинників; в результаті обробки великого числа суб'єктивних думок проявляється об'єктивна тенденція впливу чинників.

Метод рангової кореляції реалізується в три етапи.

На першому етапі визначають систему рангів, привласнюють ранги факторам і для кожного фактору обчислюють суму рангів. Потім фактори упорядковують по убуванню суми рангів. Для кожного фактору визначають середнє значення рангу (сума ділиться на кількість експертів), це число характеризує колективну думку про значущість фактору.

На другому етапі, вже маючи розподіл факторів за їх значимістю перевіряють міру узгодженості думок експертів - чи досить, вона висока. Для цієї мети служать різні коефіцієнти рангової кореляції (парної або множинної). Якщо коефіцієнт рангової кореляції свідчить про високу міру узгодженості, то дослідження закінчене і робиться висновок про те, які фактори найсильніше впливають на процес, які роблять найменшу дію, а також приймаються організаційні рішення по посиленню позитивного впливу факторів і усуненню негативних дій. Якщо коефіцієнт рангової кореляції свідчить про низьку міру узгодженості експертів, то слід знову вивчити фактори, збільшити число експертів або визнати відсутність спрямованого впливу факторів.

На третьому етапі встановлюють значущість самих коефіцієнтів рангової кореляції, тобто перевіряють, чи можна довіряти набутим значенням і висновкам. Для цього використовують статистичні критерії Пірсона і Стьюдента.

Припускаємо, що найбільший ранг привласнюється найістотнішому фактору. Досліджується n факторів ризику. Два експерти (чи дві групи експертів) висловили своє судження про вплив цих факторів на процес за допомогою системи рангів, що представлено в таблиці 6.12.

Таблиця 6.12

Номер фактору

1

2

 

N

Ранги експерту 1

хі

х2

 

Xn

Ранги експерту 2

х'

х2'

 

X'n

Для кожного фактору слід знайти суму рангів, упорядкувати фактори по спаданню цих сум і знайти середнє значення рангів.

Для оцінки узгодженості думок двох (груп) експертів можна використовувати критерій Спірмена і критерій Кендалла.

Для застосування критерію Спірмена розраховують коефіцієнт Спірмена по формулі:

6 -X (х - х ;)2

Р = 1 '=', 2 Л ,     (6.26)

n-(n —1)

де n - кількість факторів;

X - ранги першого експерту;

Ранги оцінки факторів ризику

X' - ранги другого експерту.

Значущість коефіцієнту Спірмена перевіряють за допомогою t -статистики: за рівнем значущості а і числу ступенів свободи q = n — 2 в таблицях Ст'юдента (додаток 1) знаходять табличне значення tKp). Обчислюють значення критичної точки за формулою:

TP = W1——У.     (6.27)

Якщо |р > Tp , то ранговий зв'язок є значимим, і коефіцієнту рангової кореляції можна довіряти. Інакше експеримент має бути повторений при скоректованому наборі факторів і експертів.

Для застосування критерію Кендалла ранги одного експерта розташовують в порядку зростання, ранги другого експерта переносять відповідно. Для кожного елементу другого ряду підраховують число рангів, що його перевершують і розташованих за цим елементом. Підсумовуючи отримані числа, знаходять величину R . Коефіцієнт Кендалла знаходять за формулою:

4R

Т=—  --1.    (6.28)

n •(n -1)

T =7 kpkp

де

Для перевірки значущості коефіцієнту Кендалла обчислюють значення критичної точки за формулою

2-(2n + 5) v '       (6.29)

9n•(n-1) '

1 -a

Ф (Z kp ) =

2При a = 0,05 маємо Ф(Zkp ) = 0,475 , тому Zkp = 1,96 , тоді

2-(2n + 5)

Tp = 1,96 •

9n (n -1) '

Якщо T > Tp , то ранговий зв'язок є значимим, і коефіцієнту рангової кореляції можна довіряти. Інакше потрібний додатковий експеримент.

Коефіцієнти рангової кореляції Спірмена і Кендалла змінюються на відрізку [- 1;1]. Якщо вони дорівнюють 1, то думки

V

експертів повністю співпадають. Якщо значення коефіцієнтів р і T дорівнюють -1, то думки експертів (груп експертів) прямо протилежні. Якщо значення коефіцієнтів р і T дорівнюють нулю, то думки експертів (груп експертів) неузгоджені. Шкалу для коефіцієнтів рангової кореляції наведено в таблиці 6.13.

Якщо вести мову про перевагу певного з коефіцієнтів рангової кореляції, то слід мати на увазі, що коефіцієнт Спірмена має велику потужність, тобто сильніше виявляє міру узгодженості думок експертів.

Таблиця 6.13

Шкала для коефіцієнтів рангової кореляції:

Величина коефіцієнту

Градація рівня узгодженості

(0; 0,2)

думки практично неузгоджені

(0,2; 0,4)

слабка узгодженість думок

(0,4; 0,6)

помітна узгодженість думок

(0,6; 0,8)

хороша узгодженість думок

(0,8; 0,9)

сильна узгодженість думок

(0,9; 1)

дуже висока узгодженість, думки практично співпадають

Важливим для практики є вивчення думок багатьох експертів. Результати будуть тим точніше, чим більше експертів бере участь в дослідженні процесу. Проте не завжди можливо використовувати будь-яку кількість експертів. Наприклад, при вивченні факторів ризику, що впливають на господарську діяльність філій деякої фірми, то слід підібрати стільки експертів, яке кількість філій.

У разі багатьох експертів складається таблиця 6.14.

Таблиця 6.14

Ранги оцінки факторів ризику

Фактори Експерти\

1

2

3

4

5

6

7

8

 

n

1

 

 

 

 

 

 

 

 

 

 

2

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

m

 

 

 

 

 

 

 

 

 

 

Ранги експертів позначають Xj , де i - номер експерту; j - номер фактору. Фактори впорядковують за значеннями суми рангів:

m

Х Xj . Визначають також середнє значення для кожного фактору.

i=1

Середні значення рангів дозволяють кожному експерту порівняти його оцінки з середньою думкою.

Оцінка узгодженості думок експертів проводиться за допомогою коефіцієнта конкордації:12 Х

m -(n +1)

W =

(6.30)

X

m

1n]-хде m - кількість експертів; n - кількість факторів.

Для перевірки значущості коефіцієнту конкордації обчислюють значення критичної точки за формулою

Хф = m(n — 1)-W.        (6.31)

За рівнем значущості а і числу ступенів свободи q = n — 1 в таблицях Пірсона знаходят критичне значення Xp .

Якщо %ф > Хх, то коефіцієнту конкордації можна довіряти і отримані, на його основі висновки достовірні.

Коефіцієнт конкордації може приймати значення від 0 до 1. Якщо W = 1, то думки експертів співпадають, якщо W = 0, то думки неузгоджені. Для коефіцієнту конкордації можна використовувати границі для оцінки, що представлені в табл. 6.14.

Приклад 6.5. Експертам було запропоновано оцінити ступінь ризикованості виходу підприємства на новий ринок збуту за 10. Результати оцінки представлені у табл. 6.15. Найбільший ранг присвоєно найбільш значимому фактору. Провести ранжування факторів ризику і оцініть узгодженість думок експертів.

Таблиця 6.15

Ранги факторів ризику

^\^Фактори

 

 

 

 

 

 

 

 

 

 

 

1

2

3

4

5

6

7

8

9

10

Експерти

 

 

 

 

 

 

 

 

 

 

1

3

8

2

1

9

6

4

10

5

7

2

4

10

1

3

8

7

2

9

6

5

3

5

8

2

1

10

6

3

9

7

4

4

6

9

3

2

8

7

1

10

5

4

5

5

8

2

3

9

7

6

10

4

1

6

4

6

1

5

10

8

7

9

3

2

Розв'язання. Для кожного фактора знайдемо суму рангів, середній ранг, на основі якого визначимо ранг фактору (табл. 6.16).

Таблиця 6.16

Ранги факторів ризику

Фактори

1

2

3

4

5

6

7

8

9

10

Сума рангів

27

49

11

15

54

41

23

57

30

23

середній ранг

4,50

8,17

1,83

2,50

9,00

6,83

3,83

9,50

5,00

3,83

ранг фактору

6

3

10

9

2

4

7

1

5

8

188

Найбільш значимий фактор - під номером 8, найменш значимий - під номером 3. Для оцінки узгодженості думок експертів розрахуємо коефіцієнт конкордації за формулою (6.30)

6 і0 m-(n +1) 6(10 +1)

12

W=

враховуючи, що m = 6, n = 10,       -        =       -        = 33 ,

(27 — 33)2 + (49 — 33)2 +... + (23 — 33)2 ]

          =± = 0,805.

36-(1000 —10)

Для перевірки значущості коефіцієнту конкордації обчислимо значення критичної точки за формулою (6.31). За рівнем значущості а = 0,05 і числом ступенів свободи q = 10 — 1 = 9 за таблицею

Пірсона знайдемо критичне значення Х (9;0,05) = 10 . Оскільки

Хф > Xkp, то можна зробити висновок про значимість коефіцієнту

конкордації, що підтверджує висновок про узгодженість думок експертів. За таблицею 6.13 можна зробити висновок існує у даному випадку сильна узгодженість думок експертів.

Досвід показав, що традиційні методи обговорення питань, поставлених перед групою експертів, що відносяться до першого типу експертних опитувань, не завжди забезпечує ефективне досягнення мети - ймовірність отриманих оцінок. Ці методи мають ряд недоліків, таких, як вплив авторитетних і "напористих" учасників на судження інших, небажання учасників обговорення відмовлятися від точок зору, раніше висловлених привселюдно. Тому експертних оцінок.

Другий тип групових експертних оцінок передбачає відсутність будь-якого виду критики, що перешкоджає формулюванню ідеї, вільну інтерпретацію ідей у рамках поставленої проблеми.

Такий метод обговорення одержав назву методу колективної генерації ідей (метод "мозкової атаки"). Він спрямований на одержання більшої кількості ідей, у тому числі і від осіб, що, володіючи досить високим ступенем ерудиції, звичай утримуються від висловлень.

Процес висування ідей протікає у певному смислі дуже інтенсивно: висловлювана одним із членів групи ідея породжує творчу реакцію в інших. Дослідження ефективності методу колективної генерації ідей показало, що групове мислення робить на 70% більше цінних нових ідей, ніж сума індивідуального мислення.

За допомогою цього методу може успішно зважуватися ряд задач управління ризиком:

виявлення джерел і причин ризиків, установлення всіх можливих ризиків;

вибір напрямків і шляхів зниження ризику; формування повного набору і якісна оцінка варіантів, що використовують різні способи зниження ризику чи їхню комбінацію.

Третій тип групових експертних оцінок - закрите обговорення поставлених проблем - дозволяє в значній мірі усунути зазначені вище недоліки першого і другого типів експертних процедур. Прикладом цього типу може бути метод "Дельфі"., який характеризується анонімністю і зворотним зв'язком, що керується. Механізм використання методу Дельфі представлено на рис. 6.2.

Анонімність членів комісії забезпечується шляхом їх фізичного розділення з метою уникнення групового прийняття рішення, домінування думки лідера. Після обробки результату через зворотний зв'язок, що керується, узагальнений результат доводиться до кожного члена комісії. Основна мета - дозволити ознайомитися з оцінками інших членів комісії, без тиску знання того, хто конкретно жав ту або іншу оцінку.

Етапи реалізації методу Дельфі

Врахування особистої позиції кожного учасника щодо проблеми, яка обговорюється

Узагальнення і аналіз представлених думок, класифікація, аналіз взаємозалежностей

Ознайомлення учасників опитування з отриманими даними, запропонованими думками

Сумісне вивчення отриманих даних, уточнення запропонованих думок, додаткова обробка

Зіставлення узагальнених даних, що отримані, щодо проблеми, яка обговорюється

Рисунок 6.2 - Етапи реалізації методу Дельфі

Даний метод передбачає проведення експертного опитування в кілька турів. Під час кожного туру експерти повідомляють свою думку і дають оцінку досліджуваним явищам. При обробці інформації, отриманої від експертів, всі оцінки розташовують у порядку їхнього спадання N1,       , Nm, потім визначають медіану (М) і

квартилі, що розбивають всі оцінки на чотири інтервали.

Експертів, чиї оцінки попадають у крайні інтервали, просять обґрунтувати свою думку з приводу призначення ними оцінок. З їхнім обґрунтуванням і висновками, не вказуючи, від кого вони отримані, знайомлять інших експертів.

Подібна процедура дозволяє фахівцям змінювати в разі потреби свою оцінку, приймаючи в розрахунок обставини, що вони могли випадково упустити чи якими зневажили в першому турі опитування. Завдяки цьому результати другого і наступного турів опитування дають, як правило, менший розкид оцінок. Після одержання оцінок другого туру знову розраховується медіана і квартилі. Цей процес продовжується доти, доки просування в напрямку підвищення збігу точок зору не стає незначним. Після цього фіксуються розбіжні точки зору.

Метод Дельфи найбільш доцільний при оцінюванні окремих ризиків і всього проекту в цілому - визначенні ймовірності настання ризикових подій, оцінці величини втрат, ймовірності влучення втрат у визначений інтервал і т.п.

На практиці при підготовці рішень по широкому колу питань (у тому числі з проблем аналізу й оцінки ризику) усе більше поширення знаходять другий і третій типи групових оцінок.