Zespoły klasyfikatorów - aktualne kierunki badań
Classifier ensemble – recent research directions
Mechanik nr 10/2015 - Wersje autorskie artykułów z I Konferencji „Osiągnięcia Studenckich Kół Naukowych Uczelni Technicznych” zamieszczone na płycie CD
STRESZCZENIE: Jednym z ciekawych i dynamicznie rozwijających się nurtów uczenia maszynowego jest klasyfikacja kombinowana. Opracowywane, w jej ramach, algorytmy starają się w zbudować model systemu klasyfikacyjnego bazującego na klasyfikatorach składowych, tak aby wykorzystać ich najlepsze cechy i kompetencje potrzebne do rozwiązania danego problemu decyzyjnego W takcie konstrukcji tego typu systemów stykamy się z dwoma typami problemów: jak wybrać wartościowy zespół klasyfikatorów oraz w jaki sposób uzyskać decyzje końcową na bazie odpowiedzi członków wspomnianego zespołu klasyfikatorów. W pracy przedstawiono główne przesłanki świadczące o przydatności projektowania tego typu systemów oraz dokonano ich krótkiej charakterystyki problemów projektowych.
SŁOWA KLUCZOWE: Klasyfikacja, zespoły klasyfikatorów, klasyfikacja kombinowania, rozpoznawanie wzorców
ABSTRACT: Classifier ensemble is the focus of the intense research, because it is recognized as the one of them most efficient classification approach. It is used in the several practical domains as fraud detection, client behavior recognition, medical decision support systems, or technical diagnostic to enumerate only a few. In this conceptual approach, the main effort is focusing on the two main problems. First, how to choose or train valuable and mutually complimentary set of individual classifiers and how to combine their outputs to exploit the strength of each individuals. The work presents a brief survey of the main issues related with the classifier ensemble domain.
KEYWORDS: Classification, classifier ensemble, combined classifier, pattern classification
BIBLIOGRAFIA / BIBLIOGRAPHY:
- G. Brown, L.I. Kuncheva. ”good” and ”bad” diversity in majority vote ensembles. MCS, 124–133, 2010,
- T. G. Dietterich, G. Bakiri. Solving multiclass learning problems via error-correcting output codes. J. Artif. Int. Res., 2:263–286, 1995,
- T.K. Ho. Random decision forests. Proceedings of the Third International Conference on Document Analysis and Recognition (Volume 1) - Volume1, ICDAR ’95, Washington, DC, USA, 1995,
- T.K. Ho. The random subspace method for constructing decision forests. IEEE Trans. Pattern Anal. Mach. Intell., 20:832–844, 1998,
- Y.S. Huang and C.Y. Suen. A method of combining multiple experts for the recognition of unconstrained handwritten numerals. Pattern Analysis and Machine Intelligence, IEEE Transactions on, 17(1):90 –94, 1995,
- K. Jackowski, B. Krawczyk, M. Wozniak. Adass+ the hybrid training method of a classifier based on a feature space partitioning. International Journal of Neural Systems,, 24(3), 2014,
- R. A. Jacobs. Methods for combining experts’ probability assessments. Neural Computation, 7(5):867–888, 1995.
- L.. Kuncheva, J. C. Bezdek, R. P. W. Duin. Decision templates for multiple classifier fusion: an experimental comparison. Pattern Recognition, 34(2):299–314, 2001,
- L.I. Kuncheva, Combining Pattern Classification. Second edition, Wiley, 2014,
- L.I. Kuncheva. Clustering-and-selection model for classifier combination. Proceedings. Fourth International Conference on Knowledge-Based Intelligent Engineering Systems and Allied Technologies, volume 1, 185–188 vol.1, 2000,
- L. I. Kuncheva and Christopher J. Whitaker. Measures of diversity in classifier ensembles and their relationship with the ensemble accuracy. Mach. Learn., 51(2):181–207, 2003,
- D. Ruta, B. Gabrys. Classifier selection for majority voting. Information Fusion, 6(1):63 – 81, 2005,
- J. Surowiecki. The Wisdom of Crowds: Why the Many Are Smarter Than the Few and How Collective Wisdom Shapes Business, Economies, Societies and Nations. Knopf Doubleday Publishing Group, 2004,
- S. Watanabe. Pattern Recognition: Human and Mechanical. Wiley, New York, NY, USA, 1985,
- D. H. Wolpert. Stacked generalization. Neural Networks, 5:241–259, 1992,
- D. H. Wolpert. The supervised learning no-free-lunch theorems. Proc. 6th Online World Conference on Soft Computing in Industrial Applications, 25–42, 2001,
- M. Woźniak, M. Graña, E. Corchado, A survey of multiple classifier systems as hybrid systems, Volume 16, 3–17, March 2014,
- M. Wozniak, M. Zmyslony. Combining classifiers using trained fuser - analytical and experimental results. Neural Network World, 13(7):925–934, 2010,
- M. Woźniak, Metody fuzji informacji dla komputerowych systemów rozpoznawania, Wydawnictwo PWr, Wrocław, 2006,
- Z.-H. Zhou, J. Wu, and W. Tang. Ensembling neural networks: Many could be better than all. Artificial Intelligence, 137(1-2):239–263, 2002.
