Generatywna sztuczna inteligencja na platform. AWS

Jeff Barr, wiceprezes i główny popularyzator AWS

Spis treści: Wprowadzenie 1. Podstawy generatywnej sztucznej inteligencji, przypadki użycia i cykl życia projektu Przykłady użycia i zadania Modele podstawowe i centra modeli Cykl życia projektu generatywnej sztucznej inteligencji Generatywna sztuczna inteligencja w chmurze AWS Dlaczego chmura AWS? Tworzenie aplikacji opartych na generatywnej sztucznej inteligencji w chmurze AWS Podsumowanie 2. Inżynieria monitu i uczenie kontekstowe Monity i uzupełnienia Tokeny Inżynieria monitu Struktura monitu Instrukcja Kontekst Uczenie kontekstowe na kilku przykładach Uczenie bez przykładów Uczenie na jednym przykładzie Uczenie na kilku przykładach Błędne uczenie kontekstowe Dobre praktyki uczenia kontekstowego Dobre praktyki inżynierii monitu Parametry wnioskowania Podsumowanie 3. Podstawowe duże modele językowe Podstawowe duże modele językowe Tokenizery Wektory osadzeń Architektura transformera Dane wejściowe i okno kontekstowe Osadzenia Koder Warstwy samouwagi Dekoder Funkcja softmax Rodzaje modeli podstawowych opartych na transformerach Zbiory danych do wstępnego trenowania modeli Reguły skalowania Modele optymalne obliczeniowo Podsumowanie 4. Optymalizacja pamięci i obliczeń Wyzwania pamięciowe Typy i precyzja danych Kwantyzacja Typ fp16 Typ bfloat16 Typ fp8 Typ int8 Optymalizacja warstw samouwagi FlashAttention Grouped-Query Attention Rozproszone przetwarzanie danych Algorytm DDP Algorytm FSDP Porównanie wydajności algorytmów FSDP i DDP Rozproszone przetwarzanie danych w chmurze AWS Algorytm FSDP w klastrze Amazon SageMaker Pakiet AWS Neuron SDK i akcelerator AWS Trainium Podsumowanie 5. Dostrajanie i ocenianie modelu Dostrajanie za pomocą instrukcji Llama 2-Chat Falcon-Chat FLAN-T5 Zbiór instrukcji Zbiór różnorodnych instrukcji FLAN - przykładowy zbiór różnorodnych instrukcji Szablon monitu Konwersja niestandardowego zbioru danych w zbiór instrukcji Dostrajanie modelu za pomocą niestandardowych instrukcji Amazon SageMaker Studio Amazon SageMaker JumpStart Klasa Amazon SageMaker Estimator dla centrum Hugging Face Ocenianie modelu Wskaźniki skuteczności Testy porównawcze i zbiory danych Podsumowanie 6. Dostrajanie PEFT Dostrajanie pełne i PEFT LoRA i QLoRA Podstawy techniki LoRA Rząd macierzy Docelowe moduły i warstwy Implementacja techniki LoRA Scalanie adaptera LoRA z oryginalnym modelem Osobne adaptery LoRA Skuteczność dostrajania pełnego i LoRA QLoRA Zmiękczanie i dostrajanie monitu Podsumowanie 7. Metoda RLHF Ludzkie wartości: przydatność, uczciwość, nieszkodliwość Podstawy uczenia przez wzmacnianie Niestandardowy system nagradzania Gromadzenie danych treningowych z zaangażowaniem człowieka Przykładowe instrukcje dla adnotatorów Gromadzenie adnotacji z wykorzystaniem usługi Amazon SageMaker Ground Truth Przygotowanie danych do wytrenowania systemu nagradzania Trening systemu nagradzania System nagradzania - detektor toksyczności firmy Meta Dostrajanie modelu z wykorzystaniem techniki RLHF Zastosowanie systemu nagradzania i techniki RLHF Algorytm PPO Dostrajanie modelu przy użyciu techniki RLHF i algorytmu PPO Zapobieganie hakowaniu nagród Zastosowanie dostrajania PEFT i techniki RLHF Ocenianie modelu dostrojonego z użyciem techniki RLHF Ocena jakościowa Ocena ilościowa Załadowanie systemu oceniania Definicja funkcji zwracającej zagregowaną ocenę Porównanie ocen przed dostrojeniem i po nim Podsumowanie 8. Optymalizacja wdrożenia modelu Optymalizacja modelu pod kątem wnioskowania Przycinanie modelu Kwantyzacje PTQ i GPTQ Destylacja Kontener LMI AWS Inferentia: specjalny sprzęt do wnioskowania Strategie aktualizowania i wdrażania modeli Testy A/B Wdrożenie równoległe Wskaźniki i monitoring Autoskalowanie Zasady autoskalowania Definiowanie zasady autoskalowania Podsumowanie 9. Aplikacje wnioskujące kontekstowo w oparciu o technikę RAG i agentów Ograniczenia modeli LLM Halucynacje Odcięcie wiedzy Generowanie wspomagane pobieraniem Zewnętrzne źródła wiedzy Proces RAG Załadowanie dokumentów Fragmentowanie dokumentów Pobieranie dokumentów i ponowny ranking wyników Rozszerzenie monitu Koordynacja i implementacja techniki RAG Ładowanie i fragmentowanie dokumentów Magazyn wektorów osadzeń i pobieranie danych Łańcuch pobrań Ponowny ranking z wykorzystaniem algorytmu MMR Agent Platforma ReAct Platforma PAL Aplikacje oparte na generatywnej sztucznej inteligencji FMOps - utrzymanie cyklu życia projektu aplikacji opartej na generatywnej sztucznej inteligencji Eksperymentowanie Programowanie Wdrożenie w środowisku produkcyjnym Podsumowanie 10. Multimodalne modele podstawowe Zastosowania multimodalnych modeli generatywnej sztucznej inteligencji Dobre praktyki inżynierii multimodalnego monitu Generowanie i udoskonalanie obrazów Generowanie obrazów Edycja i udoskonalanie obrazów Wrysowanie, rozrysowanie i podrysowanie obrazu Wrysowanie obrazu Rozrysowanie obrazu Podrysowanie obrazu Podpisywanie obrazów, moderowanie treści i odpowiadanie na wizualne pytania Podpisywanie obrazów Moderowanie treści Odpowiadanie na wizualne pytania Ocena modelu Generatywna konwersja tekstu na obraz Dyfuzja w przód Rozumowanie niewerbalne Podstawy algorytmu dyfuzyjnego Dyfuzja w przód Dyfuzja wstecz Sieć U-Net Model Stable Diffusion 2 Koder tekstu Sieć U-Net i proces dyfuzji Kondycjonowanie tekstu Uwaga krzyżowa Harmonogram Dekoder obrazu Model Stable Diffusion XL Sieć U-Net i uwaga krzyżowa Rafinator Kondycjonowanie Podsumowanie 11. Sterowanie procesem generowania obrazów i dostrajanie modelu Stable Diffusion ControlNet Dostrajanie modelu DreamBooth Metody DreamBooth, PEFT i LoRA Inwersja tekstu Dostosowywanie modelu do ludzkich wartości przy użyciu techniki RLHF Podsumowanie 12. Amazon Bedrock - usługa zarządzana dla generatywnej sztucznej inteligencji Modele podstawowe w usłudze Amazon Bedrock Modele Amazon Titan Modele Stability AI Stable Diffusion Interfejs API usługi Amazon Bedrock do wnioskowania Modele LLM Generowanie kodu SQL Streszczanie tekstu Osadzenia Dostrajanie modeli Agenci Modele multimodalne Tworzenie obrazu z tekstu Tworzenie obrazów z obrazów Prywatność danych i bezpieczeństwo sieci Zarządzanie i monitorowanie Podsumowanie