Sony chce pokazać klatkę, zanim powstanie. Oto pomysł

Sony szuka sposobu na ograniczenie przycięć w grach. Opisane w zgłoszeniu patentowym rozwiązanie ma ominąć problem, który towarzyszy części metod poprawiania płynności.

Sony opisało system, w którym sztuczna inteligencja przewiduje kolejną klatkę obrazu, zanim układ graficzny skończy ją renderować. Wygenerowany obraz miałby trafiać na ekran w czasie, gdy sprzęt nadal przygotowuje następną właściwą klatkę. Celem jest bardziej równomierna animacja w momentach, gdy renderowanie zwalnia.

Różnica dotyczy przede wszystkim oczekiwania na dane. Część metod generowania klatek potrzebuje dwóch gotowych obrazów, żeby utworzyć pomiędzy nimi dodatkowy, a oczekiwanie na drugi zwiększa opóźnienie. Pomysł Sony zakłada przewidywanie tego, co dopiero nastąpi, na podstawie dostępnego już materiału.

Sony chce przewidywać klatki z pomocą AI

Podstawą rozwiązania jest para wspólnie trenowanych sieci: enkoder i dekoder. Pierwsza zamienia obraz w zwięzły zestaw danych liczbowych, a druga wykorzystuje go do stworzenia przewidywanej klatki. System może otrzymywać również wcześniejsze obrazy, żeby uwzględnić więcej informacji o zmianach zachodzących na ekranie.

Dodatkowymi wskazówkami mogą być wektory ruchu oraz ostatnie sygnały z kontrolera. Wektory opisują przemieszczanie się elementów obrazu, a dane wejściowe informują o działaniach gracza. W takim wariancie przewidywanie nie opierałoby się wyłącznie na wyglądzie pojedynczej klatki.

Nowa szansa na co-op w The Last of Us 2. Są pierwsze szczegóły

Masz PS5? W tym tygodniu będzie w czym wybierać

Uczenie odbywa się na kolejnych obrazach z materiału wideo. Model próbuje wygenerować następny, a wynik jest porównywany z rzeczywistą klatką, w takim wypadku różnica służy do oceny błędu i trenowania sieci. Materiał dostarcza zarówno danych wejściowych, jak i wzorca, z którym można zestawić prognozę, bez ręcznego opisywania każdej klatki.

Dokument przewiduje możliwość tworzenia kilku syntetycznych obrazów przed pokazaniem następnego, już wyrenderowanego. Opisuje także wariant bez sieci neuronowych, czyli przesuwanie bloków pikseli zgodnie z wykrytym ruchem. To alternatywna metoda uzyskiwania dodatkowych klatek w ramach przedstawionego rozwiązania.

Na ten moment jest to patent, także nie wiadomo czy wejdzie w życie.

Źródło: 1, 2