Ядрове згладжування: відмінності між версіями
[неперевірена версія] | [неперевірена версія] |
м Olexa Riznyk перейменував сторінку з Ядрове згладження на Ядрове згладжування поверх перенаправлення: метод, а не його результат |
Функція пропозицій посилань: додано 3 посилання. |
||
Рядок 55: | Рядок 55: | ||
== Локальна лінійна регресія == |
== Локальна лінійна регресія == |
||
У двох попередніх розділах закладалось, що базова функція Y(X) локально константа, що давало змогу використовувати середньозважене значення оцінки. Ідея локальної лінійної регресії полягає в тому, що функція локально відповідає прямій лінії (чи гіперплощині у випадку вищих порядків), а не константі (горизонтальній лінії). Після підгонки лінії оцінка <math>\hat{Y}(X_{0})</math> визначається значенням цієї лінії в точці ''X''<sub>0</sub>. Повторюючи цю процедуру для кожного ''X''<sub>0</sub>, можна отримати оцінку-функцію <math>\hat{Y}(X)</math>. Як і в розділі вище ширина вікна постійна <math>h_\lambda (X_0)=\lambda = \text{constant}.</math> Формально локальна лінійна регресія обчислюється шляхом оптимізації зваженої задачі найменшого квадрата. |
У двох попередніх розділах закладалось, що базова функція Y(X) локально константа, що давало змогу використовувати середньозважене значення оцінки. Ідея локальної [[Лінійна регресія|лінійної регресії]] полягає в тому, що функція локально відповідає прямій лінії (чи гіперплощині у випадку вищих порядків), а не константі (горизонтальній лінії). Після підгонки лінії оцінка <math>\hat{Y}(X_{0})</math> визначається значенням цієї лінії в точці ''X''<sub>0</sub>. Повторюючи цю процедуру для кожного ''X''<sub>0</sub>, можна отримати оцінку-функцію <math>\hat{Y}(X)</math>. Як і в розділі вище ширина вікна постійна <math>h_\lambda (X_0)=\lambda = \text{constant}.</math> Формально локальна лінійна регресія обчислюється шляхом оптимізації зваженої задачі найменшого квадрата. |
||
У одновимірному випадку ( ''p'' = 1): |
У одновимірному випадку ( ''p'' = 1): |
||
Рядок 108: | Рядок 108: | ||
== Список літератури == |
== Список літератури == |
||
* Li, Q. and J.S. Racine. ''Nonparametric Econometrics: Theory and Practice''. Princeton University Press, 2007, {{ISBN|0-691-12161-3}}. |
* Li, Q. and J.S. Racine. ''Nonparametric Econometrics: Theory and Practice''. [[Princeton University Press]], 2007, {{ISBN|0-691-12161-3}}. |
||
* T. Hastie, R. Tibshirani and J. Friedman, ''The Elements of Statistical Learning'', Chapter 6, Springer, 2001. {{ISBN|0-387-95284-5}}[[ISBN (identifier)|ISBN]] [[Special:BookSources/0-387-95284-5|0-387-95284-5]] ([https://web.stanford.edu/~hastie/ElemStatLearn/ companion book site]). |
* T. Hastie, R. Tibshirani and J. Friedman, ''The Elements of Statistical Learning'', Chapter 6, [[Springer Science+Business Media|Springer]], 2001. {{ISBN|0-387-95284-5}}[[ISBN (identifier)|ISBN]] [[Special:BookSources/0-387-95284-5|0-387-95284-5]] ([https://web.stanford.edu/~hastie/ElemStatLearn/ companion book site]). |
||
* M. Gupta, E. Garcia and E. Chin, [http://www.mayagupta.org/publications/GuptaGarciaChinTIP2008.pdf "Adaptive Local Linear Regression with Application to Printer Color Management,"] IEEE Trans. Image Processing 2008. |
* M. Gupta, E. Garcia and E. Chin, [http://www.mayagupta.org/publications/GuptaGarciaChinTIP2008.pdf "Adaptive Local Linear Regression with Application to Printer Color Management,"] IEEE Trans. Image Processing 2008. |
||
[[Категорія:Непараметрична статистика]] |
[[Категорія:Непараметрична статистика]] |
Версія за 06:25, 13 травня 2024
Ядрове згладжування або згладження (англ. kernel smoother) — це статистичний метод оцінки дійснозначної функції як середньозважене значення сусідніх спостережених точок. Ваги задаються ядром, так щоб найближчі точки отримали найвищі ваги. Оцінювана функція є гладкою, а рівень гладкості задається єдиним параметром. Ядрове згладжування є типом зваженого рухомого середнього.
Означення
Нехай ядро, задане формулою
де:
- - евклідова норма
- - параметр (радіус ядра)
- D ( t ) зазвичай позитивна дійсна функція, значення якої зменшується (або не зростає) зі збільшенням відстані між X і X0 .
Популярні ядра, що використовуються для згладжування, включають параболічне (Епанечнікова), кубне та гауссове ядра.
Нехай - неперервною функцією від X. Для кожного , ядро-зважене середнє Надарая-Ватсона (згладжена оцінка Y(X)) визначається
де:
- N – кількість спостережуваних точок
- Y ( X i ) — спостереження в точках Xi .
Далі ми опишемо деякі окремі випадки ядрових згладжень.
Ядрове згладження Ґауса
Ядро Ґауса є одним із найпоширеніших ядер і виражається за допомогою рівняння
Тут b — масштаб довжини для вхідного простору.
Ядрове згладження найближчих точок
Ідея ядрового згладження найближчого сусіда полягає в наступному. Для кожної точки X0 беремо m найближчих сусідів і оцінюємо значення Y(X0) шляхом усереднення значень цих сусідів.
Формально, , де є m-м найближчим до X0 сусідом, і
Приклад ядрового згладження найближчих точок зображено на малюнку ліворуч. У цьому прикладі X є одновимірним. Для кожного X0, є середнім значенням 16 найближчих до X0 точок (позначено червоним кольором). Результат недостатньо гладкий.
Середньо ядрове згладження
Ідея середньо ядрового згладження полягає в наступному. Для кожної точки даних X0 виберемо стале значення відстані λ (радіус ядра або ширину вікна для p = 1 вимір) і обчислимо зважене середнє для всіх точок даних, які ближче ніж до X0 (чим ближче до X0 точки тим більшу вагу вони отримають).
Формально, а D(t) — одне з популярних ядер.
Наприклад середньо ядрового згладження зображено на малюнку праворуч. Для кожного X0 ширина вікна стала, а вага кожної точки у вікні схематично позначена жовтою тінню на графіку. Видно, що оцінка плавна, але граничні точки зміщені. Причиною цього є неоднакова кількість точок (справа і зліва до X0 ) у вікні, коли X0 знаходиться досить близько до межі.
Локальна лінійна регресія
У двох попередніх розділах закладалось, що базова функція Y(X) локально константа, що давало змогу використовувати середньозважене значення оцінки. Ідея локальної лінійної регресії полягає в тому, що функція локально відповідає прямій лінії (чи гіперплощині у випадку вищих порядків), а не константі (горизонтальній лінії). Після підгонки лінії оцінка визначається значенням цієї лінії в точці X0. Повторюючи цю процедуру для кожного X0, можна отримати оцінку-функцію . Як і в розділі вище ширина вікна постійна Формально локальна лінійна регресія обчислюється шляхом оптимізації зваженої задачі найменшого квадрата.
У одновимірному випадку ( p = 1):
Розв'язок у вигляді формули:
де:
На рисунку наведена візуалізація локальної лінійної регресії. Отримана функція є гладкою, і проблема зі зміщеними граничними точками не настільки кричуща.
Локальну лінійну регресію можна застосувати у будь-якому просторі, хоча питання про те, що таке локальне сусідство ускладнюється. Зазвичай використовують k найближчих тренувальних точок до тестової точки, щоб відповідати локальній лінійній регресії. Це може призвести до великої дисперсії встановленої функції. Щоб обмежити дисперсію, набір навчальних точок повинен містити тестову точку у своїй опуклій оболонці (див. посилання на Gupta et al.).
Локальна поліноміальна регресія
Замість підгонки локально лінійних функцій можна допасувати поліноміальні функції.
Для p=1 слід розв'язати задачу мінімізації:
з
У загальному випадку (p>1) слід мінімізувати:
Див. також
- Фільтр Савицького–Голея
- Ядрові методи
- Оцінка щільності ядра
- Локальна регресія
- Ядерна регресія
Список літератури
- Li, Q. and J.S. Racine. Nonparametric Econometrics: Theory and Practice. Princeton University Press, 2007, ISBN 0-691-12161-3.
- T. Hastie, R. Tibshirani and J. Friedman, The Elements of Statistical Learning, Chapter 6, Springer, 2001. ISBN 0-387-95284-5ISBN 0-387-95284-5 (companion book site).
- M. Gupta, E. Garcia and E. Chin, "Adaptive Local Linear Regression with Application to Printer Color Management," IEEE Trans. Image Processing 2008.