ChatGPT als Installationshilfe!

[MyzerAT]

Ich muss euch das einfach erzählen!

Heute, während ich gerade am Zocken war, hat meine SSD im Intel NUC – genau die, auf der mein ioBroker läuft – plötzlich den Geist aufgegeben! Zum Glück habe ich mehrere Backups meines ioBroker-Systems, z. B. über Backitup, Dropbox, NAS usw.

Blöd war nur: Auch Proxmox, also die Plattform, auf der ioBroker lief, war hinüber.
Da ich leider vor fünf Jahren aus gesundheitlichen Gründen mit 51 in Pension gehen musste, bin ich, was das Thema Computer angeht, leider ziemlich aus der Übung gekommen.

Also dachte ich mir: Frag ich mal ChatGPT – das hat mir in anderen Situationen auch schon super geholfen. Ich lasse mir dort regelmäßig meine Befunde und Rezepte erklären und bin echt begeistert, wie gut das funktioniert!

Hier ein kleiner Auszug aus unserer Konversation mit dem Titel „Notfallmodus Fehlerbehebung“:

Ich: Meine ioBroker-VM läuft nicht mehr, und auch Proxmox scheint beschädigt zu sein. Ich habe aber Backups – wie gehe ich jetzt am besten vor?
ChatGPT: Kein Problem, wir kriegen das hin! Zuerst prüfen wir, ob du noch auf die Proxmox-Weboberfläche kommst. Falls nicht, versuchen wir den Zugriff per SSH…
(und so weiter – die Hilfestellung war wirklich top!)

Und bitte nicht lachen über mein momentan eher laienhaftes Vorgehen – meine Krankheit hat mich leider stark eingeschränkt. Oft schaffe ich es nicht mal die richtigen Tasten zu treffen usw. Früher war ich beim größten Medienunternehmen in AT als Domain-Admin tätig – also ich konnte wirklich was!

Hier gehts los:

Da das Problem aufgrund der defekten SSD nicht behoben werden konnte, habe ich einfach auf einer neuen SSD mit hilfe von ChatGPT, Proxmox installiert, eingerichtet und auch noch Iobroker komplett zum laufen bringen können! Das Tolle daran ist das ChatGPT einem alles erklären kann Mein System ist nun sogar auf den neusten Stand was Debian und Proxmox betifft !

Als weiteres Plane ich beide Proxmox Server gegenseitig zu sichern, daher habe ich auch hier ChatGPT um Rat gefragt:

[fastfoot]

@myzerat sagte in ChatGPT als Installationshilfe!:

Ich lasse mir dort regelmäßig meine Befunde und Rezepte erklären

Hast Du denn gar keine Sorge vor Datenabfluss? Das ist einer meiner Hauptgründe solche Services nicht zu nutzen. Plus, je mehr man die Systeme mit Daten(auch Fragen!) füttert, umso schlauer werden die, völlig 'kostenlos'.

Aber das nur nebenbei, es ist natürlich toll wenn man so einen Helfer zur Hand hat wenn man ihn braucht, eine schöne Story!

Was mich aber schon immer interessiert hat: Magst Du uns mitteilen was so eine Reparatur-Session denn monitär kostet? Oder auch so eine Erklärung deiner Befunde und Rezepte durch ChatGpt? Ich stelle mir den Gebrauch auf Monat und Jahr gerechnet irgendwie teuer vor.

Danke schonmal für nähere Erläuterungen

[Jey Cee]

@fastfoot sagte in ChatGPT als Installationshilfe!:

Magst Du uns mitteilen was so eine Reparatur-Session denn monitär kostet?

Das geht inzwischen Kostenlos. Nicht mit dem Highend kram, aber schon ausreichend.

[MyzerAT]

@fastfoot

Ich zahle 24$ im Monat und das echt nicht viel für die Leistung, nutze es jeden Tag in allen Lebenslagen! auch wenn wir im TV was sehen oder hören und ich Fragen dazu habe, stelle ich diese sofort!

Das Bild übrigens ganz oben mit dem Smile, hat mir ChatGPT vorgesghlagen und gemacht, weil es dachte es wäre eine nette idee in einem Forum dies zu posten zu diesem Thema!

Vor kurzem habe ich für eine Freundin, die leider noch kränker ist als ich und eben auf Hilfe angewiesen ist, den Steuerausgleich wegen der Beerdigungskosten ihres Gatten gemacht , inkl Einspruchschreiben weil da was seitens des FA schief lief, ChatGPT hatte dies in wenigen Minuten für mich erledigt !

Auch in Games nutze ich ChatGPD, ich zocke am liebsten Factorio und da hilft mir ChatGPD oft bei komplezierten Schaltungen, diese zu entwerfen bzw. zu verstehen!

[MyzerAT]

@jey-cee sagte in ChatGPT als Installationshilfe!:

@fastfoot sagte in ChatGPT als Installationshilfe!:

Magst Du uns mitteilen was so eine Reparatur-Session denn monitär kostet?

Das geht inzwischen Kostenlos. Nicht mit dem Highend kram, aber schon ausreichend.

Ist aber sehr eingeschränkt, da man nur ein paar fragen pro tag frei hat! daher könne ich mir die 20$ im Monat und kann rund um die uhr das ding löchern!

[MyzerAT]

Mein Einstig in ChatGPD war vor ein paar Wochen, hatte mir eine GSM Alarmanlage gekauft , weil ich diese auch in den Iobroker (Tuya) einbinden kann, leider war die Beschreibung gröstenteil in Chinesisch und ChatGPT hat mir diese komplett
übersetzt!

[fastfoot]

@myzerat Vielen Dank für die Erläuterungen und die Benennung der Kosten! 20$ ist zwar nicht wenig, aber wenn man das so intensiv nutzt wie du das beschreibst dann scheint es wieder günstig. Jedenfalls vermittelt es mir das Gefühl fest kalkulierbare Kosten haben zu können, meine Sorge war vorher dass die Kosten ausufern könnten.

Nun ja, ich werde vorerst kein ChatGPT nutzen, mein Hobby ist es Dinge selbst zu ergründen, aber die Kostenfrage war mir sehr wichtig. Nochmals Danke!

[Jey Cee]

@myzerat das Limit erreiche ich eigentlich nie und wenn dann kann man nur die neueren nicht mehr nutzen.
Da ich mehrere Dienste Nutze hat sich das Abo nicht mehr gelohnt.
Für dich Suche bzw. Recherche Nutze ich perplexity, was meiner Meinung nach etwas besser ist als die Suche mit ChatGPT.

Leider hat meine Grafikkarte nicht genug Speicher um die Wirklich Leistungsfähigen Modelle aus zu führen. Sonst könnte ich das auch lokal abbilden.

[MyzerAT]

@jey-cee sagte in ChatGPT als Installationshilfe!:

perplexity,

habe mir gerade perplexity angesehn und auch als lesezeichen in firefox hinterlegt, werde ich teste! thx

[Jey Cee]

@fastfoot sagte in ChatGPT als Installationshilfe!:

mein Hobby ist es Dinge selbst zu ergründen

Schau dir mal Ollama an. Damit kannst du selber LLMs hosten. Eine Nvidia Grafikkarte mit mindestens 4 besser 8GB Grafikkarte kann man schon damit Spielen, im reinen CPU Modus gehts zwar auch, allerdings so langsam das es keinen Spaß macht.
Dazu Open Webui als chat interface um es besser nutzen zu können.

[fastfoot]

@jey-cee Ein weiterer Punkt der mich verwirrt! Wenn ich diese LLMs selbst hoste, es gibt ja mehr als genug auf zB Github, dann brauche ich doch aber immer noch Daten um die Modelle zu füttern? Geht das dann kpl. ohne Account bei irgendeinem der Anbieter oder wie ist da dann das Szenario?

[Jey Cee]

@fastfoot die LLMs sind bereits trainiert. Die Größe (z.B 8B = 8 Milliarden) gibt an mit wieviel Parametern ein Model trainiert wurde.
Dabei gibt es Spezialisierungen was ein LLM besonders gut kann.
Wissen an sich kann aber auch Nachträglich eingebracht werden in dem man es im Prompt (die Anfrage) mit gibt. Das LLM kann die Informationen verarbeiten und liefert dann ein Ergebnis.

Du bist dann dein eigener Anbieter. Viele LLMs werden Kostenlos Angeboten, ebenso wie Ollama und open webui.
Als nein du brauchst dich nirgendwo anmelden.

[OliverIO]

@myzerat

Das freut mich. Wieder ein Erfolgs Use Case.

Evtl noch als Tip. Die PC-App von OpenAI hat die Bildschirmfreigabe.
d.h. der Bildschirminhalt wird wie bei einem Webmeeting live übertragen. d.h. ChatGPT schaut dir direkt zu und kann dir per Sprache direkt Anweisungen geben.
Ist natürlich eine Vertrauenssache, aber der Tag an dem OpenAI das missbraucht, wäre mE der Tod von OpenAI

Auch kann man selbst so ein LLM installieren und laufen lassen.
Leider ist die Leistung hier weit nicht so gut, wie das was wir mittlerweile online gewöhnt sind.
Das aktuelle chatgpt hat 1.8 trillion (auf deutsch Billionen) Parameter. Ist aber nicht open source.
deepseek wäre opensource, aber halt chinesisch. Die 671 billions (Millarden) parameter benötigen so 400-450GB Speicher. Damit es annhembar funktioniert, benötigt man das als VRAM und mehrere NVidia Grafikkartenprozessoren oder NPU-Chips. Da sind wir schon bei mehreren tausend Euro.

Klar kann man auch kleinere Modelle nehmen, aber die sind dann halt weniger intelligent. Zum Fragen beantworten reicht das noch, auch classification oder mittelschwer komplexe Entscheidungen zu treffen auch. Das Reasoning (also das konkrete überlegen) geht dann nicht mehr.

Wer was probieren will, dann kann ich das mixtral 8x7B oder 8x22B empfehlen.
Das ist in Europäische Sprachen besser als llama und Co und lässt sich mit einer 12GB Grafikkarte auch noch lokal betreiben

[Jey Cee]

@oliverio sagte in ChatGPT als Installationshilfe!:

Das Reasoning (also das konkrete überlegen) geht dann nicht mehr.

Doch es gibt auch kleine Modelle die das können. Allerdings war die Erfahrung eher durchwachsen, da das geteste Modell oft in eine Endlosschleife gekommen ist.

[OliverIO]

@jey-cee sagte in ChatGPT als Installationshilfe!:

@oliverio sagte in ChatGPT als Installationshilfe!:

Das Reasoning (also das konkrete überlegen) geht dann nicht mehr.

Doch es gibt auch kleine Modelle die das können. Allerdings war die Erfahrung eher durchwachsen, da das geteste Modell oft in eine Endlosschleife gekommen ist.

Also genau das was ich geschrieben habe?
Wenn du ein Modell findest, das auf erträglicher Hardware lauffähig ist und einigermaßen Reasoning kann, dann bitte gerne benennen. Evtl ist eins dabei das ich noch nicht getestet habe.

Wenn Kunden aber sowas haben will, dann kann man auch eins der Modelle auf MS Azure gehostet in einen Europäischem Rechenzentrum nehmen. Da gibts dann auch kein Abfluss, ist DSGVO-konform, letztes Risiko des Patriot Acts lässt sich bei bei Unternehmen der 5-Eyes-Staaten leider nicht ausschließen. Microsoft ist halt das einzige Unternehmen das openAI-Modell mit anbietet. Aber das muss es auch nicht immer sein.

[MyzerAT]

finde das echt etwas krank, man hat nicht den eindruck mit einer maschine sich zu unterhalten, was da für ausdrücke kommen

[OliverIO]

@myzerat

Das ist das Ziel von openAI.
Seitdem bekannt wurde, das Sam Altman 3 mal Scarlett Johanson angefragt hat ihr Stimmprofil zu bekommen (was jedesmal von ihr abgelehnt wurde) und es dann wahrscheinlich mit Einführung der voice Fähigkeiten trotzdem verwendet haben und mittlerweile verklagt wurde deswegen

und man weiß, das Scarlett die Computerstimme im Film "Her" war, weiß man was eines der Ziele von OpenAI ist.
https://de.wikipedia.org/wiki/Her_(2013)

[liv-in-sky]

Nutze die perplexity App für Windows - ist eigentlich immer offen
Funktioniert für Javascript sehr gut

[MyzerAT]

habe ChatGPT schon wieder missbraucht! Da ich zunehmends mir schwer mit dem Tippen tue, wegen Krankheit, habe ich mir ein Tool schreiben lassen, das mir die Windwos Spracherkennung öffnet und alles was ich sage wird in ein leeres notpad.txt file geschrieben und ich kann dann den Text bequem einfach dort einsetzen wo ich ihn haben will! und sobald ich den Text übertragen habe , wird der Inhalt in der notpad.txt gelöscht und ist für weitere Eingaben bereit !

[Asgothian]

@oliverio sagte in ChatGPT als Installationshilfe!:

Evtl noch als Tip. Die PC-App von OpenAI hat die Bildschirmfreigabe.
d.h. der Bildschirminhalt wird wie bei einem Webmeeting live übertragen. d.h. ChatGPT schaut dir direkt zu und kann dir per Sprache direkt Anweisungen geben.
Ist natürlich eine Vertrauenssache, aber der Tag an dem OpenAI das missbraucht, wäre mE der Tod von OpenAI

Weil OpenAI ja so zuverlässig ist.

Sorry, aber an der Stelle ist für mich eine Grenze überschritten.

• Natürlich nutzt OpenAI die Bildschirmfreigabe für ihre eigenen Zwecke.
• Natürlich wird das was übertragen wird aufgezeichnet und in die KI eingefüttert.
• Es ist Systembedingt das dabei die KI auch später über die Daten schauen kann um nach Mustern zu Suchen die aktuell nicht gedacht waren.
  Ob das schon ein Missbrauch des Vertrauens ist ist Ansichtssache - Streng genommen nein - sie versprechen ja nicht das nicht zu tun.

(Hier ein Zitat aus den Nutzungsbedingungen von OpenAI. Formatierung durch mich):
Unsere Verwendung der Inhalte. Wir können Ihre Inhalte nutzen, um unsere Dienste bereitzustellen, aufrechtzuerhalten, zu entwickeln und zu verbessern, geltende Gesetze einzuhalten, unsere Bedingungen und Richtlinien durchzusetzen und die Sicherheit unserer Dienste zu gewährleisten.

Deswegen gilt für so eine Bildschirmfreigabe zwingend, das da nur das zu sehen sein darf was der Übertragende auch in einem YouTube Video unzensiert zeigen würde.

Es ist eine gefährliche Illusion zu glauben das OpenAI an der Stelle sauber arbeitet und da nichts aufzeichnet / ins KI Modell übernimmt / etc.

Bei Prompt getriebenen Systemen behält der Nutzer die Kontrolle was er da an die KI abgibt - das muss jeder für sich entscheiden. Bei Freigaben eines Bildschirms / Streams sieht das anders aus. Einmal falsch geklickt und schon ist da was im KI Modell was da nicht rein gehört. Und wenn man Pech hat merkt man es nicht einmal.

A.
p.s. Nur damit ich nicht missverstanden werde - Jeder muss selber wissen ob/wie er AI von welchem Anbieter in welcher Ausführung nutzt. Dabei ist aber eine saubere Kontrolle was an die KI geht wichtig. Man sollte sich darüber im klaren sein das alle Daten die an die KI gehen gleichzusetzen sind mit öffentlich zugänglichen, ungesicherten Aussagen, die dem Nutzer zugeordnet werden können. Nicht geheim, Nicht privat, Nicht anonym.
A.