| Головна |
| « Попередня | Наступна » | |
6. Теоретико-інформаційні моделі |
||
|
Значну частину описаних в літературі моделей ітеративного навчання складають моделі, що грунтуються на розгляді процесів переробки інформації в яких навчають системах. Об'єднує ці теоретико-інформаційні моделі те, що, практично, у всіх з них передбачається, що можливості навченою системи з передачі та переробки інформації (кількість інформації, переданої, оброблюваної, засвоюваній і т.д. в одиницю часу) обмежені [20, 45 , 50, 110 та ін]. Так, наприклад: "... середній час, потрібний для чіткого з'ясування значен-ня деякого сигналу і правильної реакції на нього, зростає пропорційно середньої інформації, що міститься в цьому сигналі. Виходячи звідси, можна припустити , що у випадку досить регулярно відбуваються подій, що характеризуються певною статистичної стійкістю, повідомлення про віз-нення такої події передається через органи чуття і центральну нервову систему в середньому за час, пропорційний міститься в цьому повідомленні інформації ... передача повідомлень в живому організмі відбувається так, що за однаковий час в середньому передається однакову кількість інформації "[95, с. 115]. Приватним випадком припущення про обмеженість можливостей людини при переробці інформації є відомий закон Хіка, що встановлює пропорційність (у певному діапазоні) між кількістю оброблюваної інформації і невизначеністю сигналу; при перевищенні останньої деякого порогового значення кількість переробляється інформації залишається постійною . Розрізняють два типи інформації - пов'язана (початкова, апріорна інформація, закладена в структурі системи) і вільна. Процес навчання при цьому може інтерпретуватися наступним чином: "... вільна інформація поступово переходить в пов'язану, відбувається процес" навчення "- підвищення первісної організації системи, нарощування обсягу пов'язаної інформації" [40, с. 15]. Навчання може також розумітися як "... розвиток системи без збільшення елементного складу, підвищення цінності інформації встановленням додаткових зв'язків" [37, с. 193], причому модифікація структури цілей у більшості випадків викликає лише кількісні, а не якісні зміни [47, 55]. Інформація, що надходить на вхід системи або її підсистеми може використовуватися, зокрема, таким чином: безпосередня реакція; запам'ятовування попередніх ситуацій з метою відбору найбільш вдалих реакцій безпосереднього типу; запам'ятовування зовнішніх впливів з метою їх екстраполяції і виявлення раціональної реакції на екстрапольоване зовнішній вплив; І, нарешті, найбільш загальний четвертий випадок - створення моделей зовнішнього світу і отримання прогнозу на базі функционир-вання моделей [51]. Практично всі розглянуті в цьому розділі моді-ли ітеративного навчання спираються на наведені вище положення. Модель 6.1. (Ю.Г. Антомонов [10]). О. В роботі [82] було запропоновано підхід до визначення поняття організації системи та її складності [44] через ентропію. Відповідність між складністю і організацією системи і складністю та організацією навколишнього середовища встановлюється принципом адекватності. Відомі різні формулювання принципу адекватності [7, 8, 41]. Наприклад, можливості (складність, пропускна здатність і т.д.) керуючої системи визначають межі "керованості" об'єкта управління, як б не були великі його власні можливості (зворотне співвідношення зустрічається в біології надзвичайно рідко). Іншими словами, "для того, щоб система успішно функціонувала в середовищі, складність і організація її повинні бути адекватні складності та організації середовища" [9]. В [9] запропоновано принцип динамічної адекватності: "... при зміні складності та організації середовища біосистема постійно прагне досягти нового рівня адекватності по складності і організації з середовищем з мінімізацією часу, витрат речовини і енергії ". Г. Зокрема, в [9] вводиться наступне припущення (яке в тому чи іншому вигляді використовується, практично, у всіх теоретико-інформаційних моделях ІН): зміна ентропії в навченою системі - (кількість інформації , що переробляється одержуваної, переданої і т.д. системою) пропорційно зміні ентропії навколишнього середовища. Ф (В, А). Коефіцієнт пропорційності залежить від можливостей системи - пропускної здатності каналів передачі інформації, максимально допустимої швидкості зміни параметрів елементів і т.д., причому, якщо коефіцієнт пропорційності і кількість інформації, що надходить в одиницю часу, постійні (не залежать від часу), то динаміка системи, очевидно, описується експонентою (див. нижче більш детально). Якщо навчання розглядається як процес отримання інформації, то в навченою системі відбувається поетапне усунення невизначеності за рахунок інформації, що надходить із зовнішнього середовища [30, 41, 54, 78]. - Модель 6.2. (Ю.В. Рубльов, Г.Н. Востров [74]). О. Процес переробки інформації навченою системою. Г. Припустимо, що інформаційні потоки задовольняють рівняння dI dJ п - = а - + b J, dt dt де I - кількість інформації, що надходить, J - кількість засвоюваній інформації, а і Ь - константи, що характеризують навчальну систему і визначають швидкість навчення. Рівняння (6.1) свідчить, що швидкість засвоєння ін-формації пропорційна швидкості надходження інформації та зменшується (також пропорційно) з ростом вже отриманої інформації. Припустимо, що кількість інформації, що надходить в одиницю часу постійно: I (t) = в t. Ф (В). Рішення (6.1) в рамках зробленого припущення має вигляд 8 = в / $ g = b / a. А. Припущення про сталість (або обмеженості) кількості інформації, що надходить або переробляється навченою системою в одиницю часу, використовуються практично у всіх теоретико-інформаційних моделях ітеративного навчання, причому в більшості з них вони мають саме вид (6.2). У розглянутій моделі для отримання виразу (6.3) треба було введення досить конкретної гіпотези про зв'язок надходить і засвоюваній інформації. Цікаво відзначити, що швидкість навчання, обумовлена константами a і не залежить від темпу надходження інформації в - зовнішнього параметра, а визначається тільки параметрами самої системи. - Модель 6.3. (В.Ф. Присняков, Л.М. Приснякова [69, 70, 83]). О. Запам'ятовування і зберігання інформації в пам'яті людини. Г. Інформаційні потоки підкоряються співвідношенню dJ dI? (6 5) ~ Г = "7 - (J - J? / T, dt dt де J - кількість засвоюваній інформації, - темп засвоєння dt dI інформації, - темп подачі інформації, T - постійна dt часу (характерний час, визначаєшвидкість навчення) процесу переробки інформації пам'яттю людини, J - граничне значення засвоєної інформації (пор. з (6.1)). dI Ф (В, А). У припущенні - = в = Const (сталість dt зовнішніх умов), рішення (6.5) має вигляд (6.6) I (t) = 8 (1 - e - gt), де 8 = I? + в T, g = 1 / T (пор. з (6.3)). - Модель 6.4. (О Ф. Шльонський, Б.В. Боде [90]). О. Процес накопичення інформації та її забування. Г. При постійній кількості інформації, що надходить в одиницю часу , "ідеальна пам'ять" запам'ятовує всю інформацію. В реальної пам'яті кількість запоминаемой в одиницю часу інформації убуває із зростанням вже запомненной інформації (уповільнена асимптотічность). Після закінчення процесу навчання ідеальна пам'ять зберігає інформацію необмежено довго, а в реальному пам'яті кількість інформації після закінчення процесу навчання монотонно убуває (забування), причому поточна швидкість забування пропорційна обсягу наявної на даний момент інформації I (t) (уповільнена асимптотічность, див. малюнок 6.1). Рис. 6.1. Кількість запомненной інформації Ф (В, А). Якщо "рівняння пам'яті" представити лінійним ін-інтегрального рівнянням, то якісний висновок буде таким же, як і при використанні рівнянь (6.1) і (6.5) в моделях 6.2 та 6.3 [ 90]. - Модель 6.5. (В.А. Трапезников [76, 77]). О. Переробка інформації людиною-оператором. Г (Ф, В, А). Експоненціальна залежність якості роботи оператора в залежності від часу навчання постулюється. - Модель 6.6. (Г.П. Шибанов [89]). Переробка інформації оператором (в людино-машинної системі) при навчанні і в процесі професійної діяльності. Г. Кількість інформації I, переробляється оператором в процесі його діяльності, відповідає зміни його ентропії: I = ЧИ. Отже, невпорядкованість діяльності оператора W (число можливих станів научайтесь системи, логарифм якого визначає ентропію) залежить від часу таким чином: W (t) = Wo e-bt . Припустимо, що I (t) = at, де t - час навчання оператора, a - константа, що характеризує систему підготовки. Визначимо якість роботи оператора наступним чином Q (t) = Qmax (1 - W (t)). Ф (В). Тоді Q (t) = Qmax (1 - Wo e - gt), де g = a А. Експоненціальне характер КН обумовлений вибором ентропії та інформації як характеристик невпорядкованості, конкретними (зокрема, лінійними) залежностями характеристик діяльності оператора від невпорядкованості і припущенням лінійного збільшення кількості накопиченої інформації. У моделі швидкість навчення залежить як від темпу надходження інформації в процесі навчання, так і від характерного часу зміни невпорядкованості. Слід зазначити, що в [89] виділялися три етапи навчання: Первісна "приробітку" людини-оператора до даного режиму роботи. "Відпрацювання" результативних характеристик в рамках фіксованого режиму (власне етап ітеративного навчання). Діяльність, яка характеризується статистично стабільними характеристиками. Залежність помилки від часу можна в цьому випадку схематично уявити кривої, наведеної на малюнку 6.2. - Модель 6.7. (В . М. Глушков [33]). О. Переробка інформації в процесі навчання перцептро-ну (системи розпізнавання образів, яка може розглядатися як модель запам'ятовування і навчання в живих системах). Г. Для правильного розпізнавання 7-го зображення необхідно і достатньо, щоб воно було хоч раз показано перцептроном в процесі навчання. Ф. При n випадкових (рівноймовірно) показах зображень ймовірність появи одного з N зразків складає (1 - 1 / N) n @ exp (- n / N). В. Тоді повна ефективність навчання (ймовірність правильного розпізнавання в залежності від тривалості етапу навчання) Pn = 1 - Є - 7П. де g = 1 / N. А. Порівняємо з моделлю 5.2. У даній моделі , як і в 5.2, ймовірність зменшення неузгодженості елементів (кожен елемент "відповідає" за запам'ятовування одного образу) характеризується постійною ймовірністю g "занулення" його неузгодженості в одиницю часу (ймовірністю того, що відповідний образ був показаний і запомнен). Навчальна система передбачається досить пасивної, тому швидкість навчення обернено пропорційна числу можливих варіантів N. - Модель 6.8. О. Навчальна система має канал зв'язку, через який у процесі навчання із зовнішнього середовища надходить інформація, причому чим більша частина інформації отримана системою, тим менше неузгодженість. Ф. Припустимо, що для успішного навчання система повинна отримати повну інформацію I. На першому кроці надсилається вся інформація, неспотвореної "доходить "gI (g <1). На другому кроці посилається інформація в об'ємі (1 - g) I, з якої система отримує g (1 - g) I і т.д. Кількість інформації, отриманої системою через n> 2 кроків, визначається виразом Jn = (1 + (1 - g) + (1 g) 2 + ... + (1 - g) n-1) yl , тобто Jn = gI (1 - (1 - g) n). Можливі й інші інтерпретації. Нехай, наприклад, на кожному кроці надсилається вся інформація I. Тоді кількість отриманої інформації змінюється з часом наступним чином: J (t + Dt) = J (t) + g (I - J (t)) Dt. В. Рішення (6.9) має вигляд J (t) = I (1 - e-gt). А. Такий вид рішення обумовлений пропорційністю кількості нової інформації, одержуваної системою, тієї кількості інформації, яке залишилося передати. Іншими словами це властивість (припущення) можна інтерпретувати в такий спосіб: здатність системи засвоювати (запам'ятовувати) ін-формацію зменшується пропорційно кількості запомненной та переробленої інформації. Критичним при цьому (для того, щоб рішення мало вигляд, що співпадає з (6.10)) є те, що пропорція між одержуваної частиною інформації і вже накопиченої залишається постійною в часі. Слід зазначити, що в рамках даної моделі просто припущення про обмеженість пропускної здатності каналу зв'язку привело б до зовсім інших висновків (кількість 44 накопиченої інформації росло б лінійно і т.д.). Швидкість научения у розглянутій моделі визначається пропускною здатністю каналу g - чим більша частина інформації доходить без спотворень, тим вище швидкість навчення. - Модель 6.9. О. Уявімо складну навчальну систему у вигляді безлічі елементів (їх число позначимо N), спільні дії яких ведуть до досягнення деякої фіксованої мети. Припустимо, що кожен елемент характеризується кінцевим безліччю його допустимих станів S7 (t) (число елементів множини S7 одно n7 (t)), в одному з яких він може перебувати в момент часу t, 7 = 1, n. Число незалежних станів системи в цілому (описуваної перерахуванням станів її невзаємодіючих елементів) дорівнює добутку числа допустимих станів всіх елементів. Г. Припустимо, що научение полягає в зведенні числа допустимих станів кожного елемента до деякого мінімуму, тобто в залишенні одного або декількох фіксованих станів, відповідних розв'язуваної задачі. Мета навчання для системи - мінімізація числа її допустимих станів. Зменшення числа допустимих станів кожного елемента відбувається в міру отримання ним інформації. Ентропія 7-го елемента (його невпорядкованість): H (t) = ln n (t). Кількість керуючої інформації X (t), що надійшла 7-му елементу в момент часу t, йде на зниження невизначеності: Hll = - X (t), t> 0. at Припустимо, що існує абсолютна межа кількості регулюючої інформації, що надходить в кожен момент:? 7 (t) Ф. Досліджуємо, як буде змінюватися з часом число допустимих станів елементів. Підставляючи (6.11) в (6.12) і вирішуючи відповідне диференціальне рівняння, одержимо n (t) = n ° exp (- JХг (t) dt), i = 1, n, t> 0, 0 де n0 - число допустимих станів i-го елемента до початку навчення. Інтеграл в показнику експоненти відповідає накопи- t ленній елементом інформації Ii (t) = J Хг (t) dt. 0 В. Розглянемо як буде вести себе в часі число допустимих станів системи в цілому, що відбиває, в силу введеного вище припущення, ефективність навчання: n n (t) = П Пг (t) = n0 exp (- I (t)), i = 1 n де n0 = П ni0, i = 1 I (t) =? I (t). i = 1 Якщо припустити, що характеристики елементів і темп надходження інформації постійні, тобто постійно кількість інформації, що переробляє кожним елементом в одиницю часу: Ii (t) = вг t, то (6.14) переходить в класичну експоненту n з показником I (t) = t ^ 6t. i = 1 А. Гіпотеза про монотонному зменшенні числа допустимих станів не знижує спільності наведених міркувань, так як у випадку їх росту вийде вираз виду n (t) = n? (1 - e - I (t)), приблизно з тими ж проміжними викладками. Результати моделей 6.2, 6.3, 6.5, 6.6, і 6.8 можуть розглядатися як окремі випадки моделі 6.9. У всіх моделях цього розділу швидкість навчення визначається кількістю накопиченої інформації, тому для збільшення швидкості навчання, в рамках розглянутої моделі, доцільно вибирати якомога більший темп передачі інформації. Слід, однак, враховувати, що в реальних системах перевищення деякого порогового (для навченою системи) обсягу надходить інформації може надати негативний вплив і знизити ефективність навчання (аналог ефекту інтерференції навичок). - Таким чином, в теоретико-інформаційних моделях ітеративного навчання експонентний характер кривих научения обумовлений постійністю кількості інформації, оброблюваної, переданої, засвоюваній і т.д. елементами системи в одиницю часу. |
||
| « Попередня | Наступна » | |
|
|
||
Інформація, релевантна "6. Теоретико-інформаційні моделі" |
||
|
||