https://szkolazpieklarodem.pl/
Pipeline to nic innego jak zestaw algorytmów, które można wykorzystać do uczenia modelu. Rasa NLU ma dwa powszechnie używane potoki zwane spacy_sklearn i tensorflow_embedding. Dowiedzmy się trochę o obu. spacy_sklearn
- Potok spacy_sklearn wykorzystuje wstępnie wytrenowane wektory słów z algorytmu GloVe lub algorytmu opracowanego przez zespół sztucznej inteligencji Facebooka o nazwie fastText.
- spacy_sklearn działa zadziwiająco dobrze w sytuacjach, w których, załóżmy, że masz wypowiedź typu: „Jaka jest pogoda w Bostonie?” Kiedy szkolimy nasz model na tym samym przykładzie wypowiedzi, a następnie prosimy go o przewidzenie intencji: „Jaka jest pogoda w Londynie?” nasz model jest teraz na tyle inteligentny, że wie, że słowa „Boston” i „Londyn” są podobne i mają tę samą intencję.
- Ten potok jest bardzo przydatny w przypadku małych zestawów danych. tensorflow_embedding
- Potok tensorflow_embedding nie wykorzystuje żadnych wstępnie wyszkolonych wektorów słów, takich jak spacy_sklearn, ale dostosowuje się zgodnie z dostarczonym przez nas zbiorem danych.
- Dobrą rzeczą w potoku tensorflow_embedding jest to, że nasze wektory słów będą zgodne z naszą dziedziną.
- Aby wyjaśnić, jak działa tensorflow_embedding na przykładzie, w
W języku angielskim słowo „zabawa” może być blisko spokrewnione ze „sportem” lub „zajęciem rozrywkowym lub rekreacyjnym” i może wydawać się bardzo różne od słów „akt”. W dziedzinie teatru „sztuka” i „akt” są ze sobą ściśle powiązane, gdzie „zabawa” oznacza „formę literatury napisaną przez dramaturga” i bardzo konieczne jest poinformowanie naszego modelu, aby uczył się specyficzny dla naszej dziedziny, a nie pomylić się z powodu jakiegoś wcześniej wyszkolonego modelu.