Synopsis

DAY 1 :: 6.1. :: Introduction of main concepts (avatarization, generative AI) introduction of technologies (language models, Loras, retrieval-augmented generation) & tools (Flowise, text-webui) we will use.

DAY 2 :: 7.1. :: Introduction of additional tools (Unreal engine, voice cloning). Group formation. Bringing an exemplar AA into existence.

DAY 3 :: 8.1. :: Bringing other AAs into existence

DAY 4 :: 9.1. :: Making AAs communicate among themselves & with us, room preparation

DAY 5 :: 10.1. :: 1st UDK.AI Symposium on Artificial Avatars

click, swipe or press → to begin

Day 0 :: 6.1.2025 :: AE550106

Today we will tell You what this Kollisionen seminar should be about, what technologies we will use and where do we will, ideally, get...

Introduction

Introduction of main concepts (avatarization, generative AI) introduction of technologies (language models, Loras, retrieval-augmented generation) & tools (Flowise, text-webui) we will use.

Definitions

Generative KI

Generative künstliche Intelligenz (KI) widmet sich der Erstellung neuer, oft unvorhergesehener Daten oder Inhalte, die das Ergebnis des Lernens aus bestehenden Daten sind. Diese Modelle 'verstehen' irgendwie die Struktur und Verteilung der Daten, auf denen sie trainiert wurden, und versuchen, neue Muster zu erstellen, die mit diesen erlernten Mustern übereinstimmen. Generative Modelle können für verschiedene Zwecke verwendet werden, wie zum Beispiel die Erstellung von Bildern, Texten, Tönen oder Videos und werden oft in Bereichen wie der künstlichen Inhaltsproduktion oder Sprachsynthese eingesetzt.

Text-zu-Bild

Text-zu-Bild bzw. Sprache-zu-Bild generative künstliche Intelligenz (KI) ermöglicht das Erstellen neuer, einzigartiger bildlicher Inhalte mittels Beschreibungen oder Befehlen in Textform (bzw. gesprochener Sprache).

Großes Sprachmodell

Großes Sprachmodell (LLM), oder Large Language Model, ist ein Typ der künstlichen Intelligenz, der entwickelt wurde, um menschliche Sprache zu verstehen und zu generieren. Diese Modelle werden an riesigen Textmengen geschult, wodurch sie Grammatik, Wortschatz und Kontext verschiedener Sprachen lernen. Die Fähigkeit von LLM, zusammenhängende und grammatikalisch korrekte Texte zu generieren, ermöglicht es ihnen, verschiedene Aufgaben zu erfüllen, wie Fragen zu beantworten, Texte zu schreiben, Sprachen zu übersetzen oder Informationen zu zusammenzufassen, und das alles ohne explizite Programmierung spezifischer Regeln oder Logiken.

GPT

GPT ('Generative Pretrained Transformer' oder auch 'Geppetto') ist eine Serie großer Sprachmodelle, entwickelt von OpenAI.

Die Modelle sind über die Schnittstelle ChatGPT ('Geppetto') zugänglich unter CHAT.OPENAI.COM, GPT-3.5 kostenlos, GPT4 gegen eine Gebühr von 20 $ pro Monat.

Geppetto4 übertrifft in Kreativitätstests 99% der Universitätsstudenten und es ist fast sicher, dass es im Turing-Test menschlicher wirken würde als die meisten Wähler von Donald Trump oder anderen Kreaturen.

Neuronale Netze

Neuronale Netze im Kontext der KI sind keine echten Nervenzellen, sondern softwarebasierte Modelle, deren Architektur von der Art und Weise inspiriert ist, wie das menschliche Gehirn Informationen verarbeitet. Diese Modelle bestehen aus "Schichten" von Datenstrukturen, die "Neuronen" genannt werden. Die Neuronen sind miteinander verbunden und ihre Verbindungen haben ein bestimmtes "Gewicht". Im Lernprozess passt das System diese Gewichte - auch "Parameter" genannt - allmählich an, um den Fehler zwischen seiner Vorhersage und dem, was vorhergesagt werden soll, zu verringern.

TPU

GPU (Grafikverarbeitungseinheiten, NVIDIA) und TPU (Tensor-Verarbeitungseinheiten, Google) sind jene Hardware-Innovationen, die tiefgehendes Lernen in einem unvorstellbaren Umfang ermöglichen.

Tiefes Lernen & große Daten

Tiefes Lernen oder Deep Learning nutzt neuronale Netze mit vielen Schichten (daher 'tief'), was dem Modell ermöglicht, komplexe Muster in Daten auf verschiedenen Abstraktionsebenen zu lernen. Deep Learning wird in vielen Bereichen angewendet, einschließlich Bild- und Spracherkennung, und ist eine Schlüsseltechnologie in der Entwicklung autonomer Systeme wie selbstfahrende Autos oder Spracherkennung.

Der Schlüssel zum Erfolg ist eine möglichst große Menge an Trainingsdaten.

model

A trained neural network is stored in a file. This file is called "a model". When You want to use it - either for inferencing or training or both - You need to load the model from the disk into memory.

Based on the amount of "parameters" (e.g. numbers which represent the synaptic weight) the model contains, the process of loading into memory shall be or shall not be succesful ;)

lora

Lora is like a small "adapter" model which You can train as an addition to Your main "big" model. Training of a Lora is much faster than fine-tuning of the big model itself.

With a properly trained Lora, You will give Your avatar a unique personality.

training & inferencing

In machine learning and AI, we speak about

"training" when the AI is learning from the data we provide it

"inferencing" when the AI is using its current "knowledge" to solve new problems (e.g. problems which maybe weren't in the training data at all)

lora

Lora is like a small "adapter" model which You can train as an addition to Your main "big" model. Training of a Lora is much faster than fine-tuning of the big model itself.

With a properly trained Lora, You will give Your avatar a unique personality.

Technologies

Language Models:::Ollama:::Flowise:::Text-to-speech:::Unreal:::Metahuman:::Audio2Face

Flowise

flow.udk.ai

Language Models

amsel.udk.ai/llm

Ollama

Text-to-speech

amsel.udk.ai/tts

Unreal

Metahuman

Audio2Face

0th Avatar

Avatar (etymology)

"descent of a Hindu deity to earth in an incarnate or tangible form," from Sanskrit avatarana "descent" (of a deity to the earth in incarnate form), from ava- "off, down" (from Proto-Indo-European root *au- (2) "off, away") + base of tarati "(he) crosses over" (from PIE root *tere- (2) "cross over, pass through, overcome").

The meaning "concrete embodiment of something abstract" is from 1815. In computer use, it seems to trace to the novel "Snowcrash" (1992) by Neal Stephenson.

(Idea) Avatarization

Within the "idealist" philosophical tradition, it is not necessarily the physical person but rather a "pure idea" (e.g. protection, justice, wisdom, friendship etc.) which is to be "avatarized".

'I'-Avatarization

"I"-Avatarization is the process whereby a living human H consciously creates, develops, fine tunes and optimizes (his|her) own generative AI avatar datasets & models.

That is, using datasets (mails, chat transcripts etc.) to create a generative AI copy of one's self (an "I-Avatar") which could provide information in situation when H (her|him)self is not alive anymore.

dall-e 3: "provide a picture of cybrid of john keats speaking with Ummon, the oldest AI in the technocore. ummon does not have a form of human, it is a radiant monolith"

Cybrid

A cybrid is an entity resulting from the fusion of an AI consciousness with a human body. (Dan Simmons, Cantos Hyperion)

What You need to create the avatar

Raison d'etre / Idea

Name

Description

Text dataset

Voice recording

Face / Appearance