ChatGPT als Installationshilfe!

[fastfoot]

@jey-cee Ein weiterer Punkt der mich verwirrt! Wenn ich diese LLMs selbst hoste, es gibt ja mehr als genug auf zB Github, dann brauche ich doch aber immer noch Daten um die Modelle zu füttern? Geht das dann kpl. ohne Account bei irgendeinem der Anbieter oder wie ist da dann das Szenario?

[Jey Cee]

@fastfoot die LLMs sind bereits trainiert. Die Größe (z.B 8B = 8 Milliarden) gibt an mit wieviel Parametern ein Model trainiert wurde.
Dabei gibt es Spezialisierungen was ein LLM besonders gut kann.
Wissen an sich kann aber auch Nachträglich eingebracht werden in dem man es im Prompt (die Anfrage) mit gibt. Das LLM kann die Informationen verarbeiten und liefert dann ein Ergebnis.

Du bist dann dein eigener Anbieter. Viele LLMs werden Kostenlos Angeboten, ebenso wie Ollama und open webui.
Als nein du brauchst dich nirgendwo anmelden.

[OliverIO]

@myzerat

Das freut mich. Wieder ein Erfolgs Use Case.

Evtl noch als Tip. Die PC-App von OpenAI hat die Bildschirmfreigabe.
d.h. der Bildschirminhalt wird wie bei einem Webmeeting live übertragen. d.h. ChatGPT schaut dir direkt zu und kann dir per Sprache direkt Anweisungen geben.
Ist natürlich eine Vertrauenssache, aber der Tag an dem OpenAI das missbraucht, wäre mE der Tod von OpenAI

Auch kann man selbst so ein LLM installieren und laufen lassen.
Leider ist die Leistung hier weit nicht so gut, wie das was wir mittlerweile online gewöhnt sind.
Das aktuelle chatgpt hat 1.8 trillion (auf deutsch Billionen) Parameter. Ist aber nicht open source.
deepseek wäre opensource, aber halt chinesisch. Die 671 billions (Millarden) parameter benötigen so 400-450GB Speicher. Damit es annhembar funktioniert, benötigt man das als VRAM und mehrere NVidia Grafikkartenprozessoren oder NPU-Chips. Da sind wir schon bei mehreren tausend Euro.

Klar kann man auch kleinere Modelle nehmen, aber die sind dann halt weniger intelligent. Zum Fragen beantworten reicht das noch, auch classification oder mittelschwer komplexe Entscheidungen zu treffen auch. Das Reasoning (also das konkrete überlegen) geht dann nicht mehr.

Wer was probieren will, dann kann ich das mixtral 8x7B oder 8x22B empfehlen.
Das ist in Europäische Sprachen besser als llama und Co und lässt sich mit einer 12GB Grafikkarte auch noch lokal betreiben

[Jey Cee]

@oliverio sagte in ChatGPT als Installationshilfe!:

Das Reasoning (also das konkrete überlegen) geht dann nicht mehr.

Doch es gibt auch kleine Modelle die das können. Allerdings war die Erfahrung eher durchwachsen, da das geteste Modell oft in eine Endlosschleife gekommen ist.

[OliverIO]

@jey-cee sagte in ChatGPT als Installationshilfe!:

@oliverio sagte in ChatGPT als Installationshilfe!:

Das Reasoning (also das konkrete überlegen) geht dann nicht mehr.

Doch es gibt auch kleine Modelle die das können. Allerdings war die Erfahrung eher durchwachsen, da das geteste Modell oft in eine Endlosschleife gekommen ist.

Also genau das was ich geschrieben habe?
Wenn du ein Modell findest, das auf erträglicher Hardware lauffähig ist und einigermaßen Reasoning kann, dann bitte gerne benennen. Evtl ist eins dabei das ich noch nicht getestet habe.

Wenn Kunden aber sowas haben will, dann kann man auch eins der Modelle auf MS Azure gehostet in einen Europäischem Rechenzentrum nehmen. Da gibts dann auch kein Abfluss, ist DSGVO-konform, letztes Risiko des Patriot Acts lässt sich bei bei Unternehmen der 5-Eyes-Staaten leider nicht ausschließen. Microsoft ist halt das einzige Unternehmen das openAI-Modell mit anbietet. Aber das muss es auch nicht immer sein.

[MyzerAT]

finde das echt etwas krank, man hat nicht den eindruck mit einer maschine sich zu unterhalten, was da für ausdrücke kommen

[OliverIO]

@myzerat

Das ist das Ziel von openAI.
Seitdem bekannt wurde, das Sam Altman 3 mal Scarlett Johanson angefragt hat ihr Stimmprofil zu bekommen (was jedesmal von ihr abgelehnt wurde) und es dann wahrscheinlich mit Einführung der voice Fähigkeiten trotzdem verwendet haben und mittlerweile verklagt wurde deswegen

und man weiß, das Scarlett die Computerstimme im Film "Her" war, weiß man was eines der Ziele von OpenAI ist.
https://de.wikipedia.org/wiki/Her_(2013)

[liv-in-sky]

Nutze die perplexity App für Windows - ist eigentlich immer offen
Funktioniert für Javascript sehr gut

[MyzerAT]

habe ChatGPT schon wieder missbraucht! Da ich zunehmends mir schwer mit dem Tippen tue, wegen Krankheit, habe ich mir ein Tool schreiben lassen, das mir die Windwos Spracherkennung öffnet und alles was ich sage wird in ein leeres notpad.txt file geschrieben und ich kann dann den Text bequem einfach dort einsetzen wo ich ihn haben will! und sobald ich den Text übertragen habe , wird der Inhalt in der notpad.txt gelöscht und ist für weitere Eingaben bereit !

[Asgothian]

@oliverio sagte in ChatGPT als Installationshilfe!:

Evtl noch als Tip. Die PC-App von OpenAI hat die Bildschirmfreigabe.
d.h. der Bildschirminhalt wird wie bei einem Webmeeting live übertragen. d.h. ChatGPT schaut dir direkt zu und kann dir per Sprache direkt Anweisungen geben.
Ist natürlich eine Vertrauenssache, aber der Tag an dem OpenAI das missbraucht, wäre mE der Tod von OpenAI

Weil OpenAI ja so zuverlässig ist.

Sorry, aber an der Stelle ist für mich eine Grenze überschritten.

• Natürlich nutzt OpenAI die Bildschirmfreigabe für ihre eigenen Zwecke.
• Natürlich wird das was übertragen wird aufgezeichnet und in die KI eingefüttert.
• Es ist Systembedingt das dabei die KI auch später über die Daten schauen kann um nach Mustern zu Suchen die aktuell nicht gedacht waren.
  Ob das schon ein Missbrauch des Vertrauens ist ist Ansichtssache - Streng genommen nein - sie versprechen ja nicht das nicht zu tun.

(Hier ein Zitat aus den Nutzungsbedingungen von OpenAI. Formatierung durch mich):
Unsere Verwendung der Inhalte. Wir können Ihre Inhalte nutzen, um unsere Dienste bereitzustellen, aufrechtzuerhalten, zu entwickeln und zu verbessern, geltende Gesetze einzuhalten, unsere Bedingungen und Richtlinien durchzusetzen und die Sicherheit unserer Dienste zu gewährleisten.

Deswegen gilt für so eine Bildschirmfreigabe zwingend, das da nur das zu sehen sein darf was der Übertragende auch in einem YouTube Video unzensiert zeigen würde.

Es ist eine gefährliche Illusion zu glauben das OpenAI an der Stelle sauber arbeitet und da nichts aufzeichnet / ins KI Modell übernimmt / etc.

Bei Prompt getriebenen Systemen behält der Nutzer die Kontrolle was er da an die KI abgibt - das muss jeder für sich entscheiden. Bei Freigaben eines Bildschirms / Streams sieht das anders aus. Einmal falsch geklickt und schon ist da was im KI Modell was da nicht rein gehört. Und wenn man Pech hat merkt man es nicht einmal.

A.
p.s. Nur damit ich nicht missverstanden werde - Jeder muss selber wissen ob/wie er AI von welchem Anbieter in welcher Ausführung nutzt. Dabei ist aber eine saubere Kontrolle was an die KI geht wichtig. Man sollte sich darüber im klaren sein das alle Daten die an die KI gehen gleichzusetzen sind mit öffentlich zugänglichen, ungesicherten Aussagen, die dem Nutzer zugeordnet werden können. Nicht geheim, Nicht privat, Nicht anonym.
A.

[OliverIO]

@asgothian

Du hast natürlich vollkommen recht.
Nur werden wir entscheiden müssen, nutzen wir es oder nutzen wir es nicht. Wobei bei Letzterem ich denke wir wahrscheinlich gar nicht so eine große Wahl haben, ohne auf wichtige und gute Tools zu verzichten.

PS
Habt ihr auch schon den neuen AI Assistant von Meta in WhatsApp? Deaktivieren kann man den leider nicht.

Microsoft Copilot wäre da auch no h so ein Fall

[Asgothian]

@oliverio sagte in ChatGPT als Installationshilfe!:

Habt ihr auch schon den neuen AI Assistant von Meta in WhatsApp? Deaktivieren kann man den leider nicht.

Auf die Gefahr mich als Technologie-verweiterer zu outen:
fake Italian accent Isch abe gar kein WhatsApp. (Unter anderem auch deswegen) - Facebook, Instagram, Twitch und wie sie alle heissen auch nicht.

A.

[David G.]

@asgothian sagte in ChatGPT als Installationshilfe!:

Natürlich nutzt OpenAI die Bildschirmfreigabe für ihre eigenen Zwecke.
Natürlich wird das was übertragen wird aufgezeichnet und in die KI eingefüttert.
Es ist Systembedingt das dabei die KI auch später über die Daten schauen kann um nach Mustern zu Suchen die aktuell nicht gedacht waren.
Ob das schon ein Missbrauch des Vertrauens ist ist Ansichtssache - Streng genommen nein - sie versprechen ja nicht das nicht zu tun.

Aber das sollte ja jeder wissen.
Der Button "Provisorischer Chat" (quasi der Inkocnitomodus) ist ja sehr prominent plaziert.
Wenn man liest was das ist, weiß man ja sehr genau was sonst alles gemacht wird.
Ob der wirklich so provisorisch ist, ist die andere Frage.