LiCO

W tym artykule przedstawimy Ci rozwiązanie programowe Lenovo Intelligent Computing Orchestration (LiCO), które upraszcza korzystanie z klastrowych zasobów obliczeniowych do opracowywania i szkolenia modeli sztucznej inteligencji (AI) oraz obciążeń HPC.

---

Dostępne wersje LiCO

WERSJA LiCO K8S/AI:

• Kontenery AI framework są oparte na dokerach i zarządzane poza LiCO w repozytorium dockerów klienta,

• Niestandardowe szablony składania ofert pracy są zdefiniowane za pomocą YAML,

• Nie obejmuje standardowych szablonów przesyłania zadań HPC.
  

WERSJA LiCO HPC/AI:

• Kontenery AI framework są oparte na Singularity i zarządzane w interfejsie LiCO,

• Niestandardowe szablony przesyłania zadań są zdefiniowane jako skrypty wsadowe (dla SLURM, LSF, PBS),

• Zawiera standardowe szablony przesyłania zadań HPC.

Korzyści dla użytkowników

LiCO zapewnia użytkownikom następujące korzyści:

• Portal internetowy do wdrażania, monitorowania i zarządzania zadaniami związanymi z tworzeniem sztucznej inteligencji i szkoleniami w rozproszonym klastrze,
• Wdrażanie obsługiwanych struktur AI w oparciu o kontenery w celu łatwej konfiguracji stosu oprogramowania,
• Bezpośredni dostęp z przeglądarki do instancji notatników Jupyter działających w klastrze,
• Standardowe i niestandardowe szablony pracy zapewniające intuicyjny punkt wyjścia dla mniej doświadczonych użytkowników,
• Wstępnie zdefiniowane szablony szkoleń i wnioskowania Lenovo Accelerated AI dla wielu typowych przypadków użycia sztucznej inteligencji,
• Kompleksowy przepływ pracy Lenovo AI Studio do klasyfikacji obrazów, wykrywania obiektów, segmentacji instancji,
• Przepływ pracy do zdefiniowania wielu zgłoszeń zadań jako zautomatyzowany przepływ pracy do wdrożenia w ramach jednej akcji,
• Narzędzia do wizualizacji TensorBoard zintegrowane z interfejsem (oparte na TensorFlow),
• Zarządzanie przestrzenią prywatną w pamięci współdzielonej przez GUI,
• Monitorowanie postępów prac i dostęp do logów.

Funkcje dla użytkowników

Osoby wyznaczone jako użytkownicy LiCO mają dostęp do pulpitów nawigacyjnych związanych przede wszystkim z zadaniami rozwoju i szkolenia AI. Użytkownicy mogą przesyłać zadania do klastra i monitorować swoje wyniki za pomocą pulpitów nawigacyjnych.

Dla użytkowników dostępne są następujące menu:

Menu główne dla użytkowników – zawiera przegląd zasobów dostępnych w klastrze. Podane są również zadania i stan zadania, wskazując czas wykonywania bieżącego zadania oraz kolejność wdrożonych zadań. Użytkownicy mogą kliknąć zadania, aby uzyskać dostęp do powiązanych dzienników i plików zadań.

Menu Wyślij zadanie – umożliwia użytkownikom skonfigurowanie zadania i przesłanie go do klastra. Użytkownik najpierw wybiera szablon pracy. Po wybraniu szablonu użytkownik nadaje zadaniu nazwę i wprowadza odpowiednie parametry, wybiera żądane zasoby w klastrze i przesyła je. Użytkownicy mogą korzystać z szablonów Lenovo Accelerated AI, branżowych szablonów AI, przesyłać ogólne zadania za pośrednictwem szablonu Common Job, a także tworzyć własne szablony żądające określonych parametrów.

Menu Zlecenia – wyświetla panel z listą zleceń i ich statusami. Ponadto możesz wybrać zadanie i zobaczyć wyniki oraz dzienniki dotyczące zadania w toku (lub po zakończeniu). Tagi i komentarze można dodawać do ukończonych zadań w celu łatwiejszego filtrowania.

Menu AI Studio – zapewnia użytkownikom możliwość etykietowania danych, optymalizacji hiperparametrów, a także testowania i publikowania przeszkolonych modeli w ramach kompleksowego przepływu pracy w LiCO. AI Studio obsługuje przepływy pracy klasyfikacji obrazów, wykrywania obiektów i segmentacji instancji.

Menu Dev Tools — umożliwia użytkownikom tworzenie, uruchamianie i przeglądanie instancji notesów Jupyter w klastrze z poziomu LiCO w celu eksperymentowania i opracowywania modeli.

Menu Workflow – umożliwia użytkownikom tworzenie wieloetapowych zadań wykonywanych jako pojedyncza akcja. Przepływy pracy mogą zawierać kroki wykonywane seryjnie, a także wiele zadań wykonywanych równolegle w ramach jednego kroku, aby w pełni wykorzystać zasoby klastra.

Menu administratora — umożliwia użytkownikom dostęp do wielu funkcji niezwiązanych bezpośrednio z wdrażaniem obciążeń w klastrze, w tym dostęp do współdzielonej przestrzeni dyskowej w klastrze za pomocą interfejsu „przeciągnij i upuść” oraz dostęp do interfejsu API i git do integracji sztucznej inteligencji Studio wkracza w środowisko DevOps.

Przyspieszona sztuczna inteligencja Lenovo Lenovo Accelerated AI udostępnia zestaw szablonów, których celem jest uproszczenie, łatwiejszy dostęp i szybsze wdrożenie szkolenia i wnioskowania AI. Szablony Accelerated AI różnią się od innych szablonów w LiCO tym, że nie wymagają od użytkownika wprowadzania programu; raczej wymagają po prostu obszaru roboczego (z powiązanymi katalogami) i zestawu danych z etykietą.
Następujące przypadki użycia są obsługiwane przez szablony Lenovo Accelerated AI:

• Klasyfikacja obrazu,
• Wykrywanie obiektów,
• Segmentacja instancji,
• Medyczna segmentacja obrazu,
• Seq2Seq,
• Sieć pamięci,
• Obraz GAN,
• Klasyfikacja tekstu.

Każdy przypadek użycia Lenovo Accelerated AI jest obsługiwany przez szablon szkolenia i wnioskowania. Szablony szkoleniowe zawierają parametry wejściowe, takie jak wielkość partii i szybkość uczenia się. Te pola parametrów są wstępnie wypełniane wartościami domyślnymi, ale mogą być dostosowywane przez osoby posiadające wiedzę z zakresu nauki o danych. Szablony zapewniają również analizę wizualną za pomocą TensorBoard; wykresy TensorBoard są stale aktualizowane w trakcie wykonywania zadania, a ostateczne statystyki są dostępne po zakończeniu zadania.

W LiCO 6.3 szablony klasyfikacji obrazów i wykrywania obiektów wprowadzają możliwość wyboru topologii na podstawie charakterystyki docelowego urządzenia wnioskowania, takiego jak urządzenie IoT, serwer brzegowy lub serwer centrum danych. LiCO udostępnia również szablony wnioskowania, które umożliwiają użytkownikom przewidywanie na podstawie nowych danych na podstawie modeli, które zostały przeszkolone za pomocą szablonów Lenovo Accelerated AI. 

W przypadku szablonów wnioskowania użytkownicy muszą tylko podać obszar roboczy, katalog wejściowy (lokalizację danych, na których zostanie wykonane wnioskowanie), katalog wyjściowy i lokalizację uczonego modelu. Zadanie zostanie uruchomione, a po zakończeniu katalog wyjściowy będzie zawierał przeanalizowane dane. W przypadku szablonów wizualnych, takich jak wykrywanie obiektów, obrazy można wyświetlać bezpośrednio z interfejsu zarządzania plikami LiCO.

---

Klienci, którzy nie posiadają stosu oprogramowania do zarządzania klastrami wymaganego do działania z LiCO, mogą skorzystać z usług Lenovo Professional Services w celu zainstalowania LiCO i niezbędnego oprogramowania typu open source. Lenovo Professional Services może zapewnić kompleksową instalację i konfigurację stosu oprogramowania, w tym weryfikację działania, a także dokumentację poinstalacyjną w celach informacyjnych.

Jeżeli potrzebujesz wsparcia, skontaktuj się z nami!

Zachęcamy do zapoznania się z pozostałymi artykułami.