Πώς να δημιουργήσετε ένα τοπικό Chatbot όμοιο με το GPT χωρίς φιλτράρισμα

Η τεχνητή νοημοσύνη είναι ένα εξαιρετικό εργαλείο για πολλούς ανθρώπους, αλλά υπάρχουν ορισμένοι περιορισμοί στα δωρεάν μοντέλα που καθιστούν δύσκολη τη χρήση τους σε ορισμένα περιβάλλοντα. Ακολουθεί ένας εύκολος τρόπος για να εγκαταστήσετε ένα Chatbot που μοιάζει με GPT χωρίς λογοκρισία στον τοπικό σας υπολογιστή.

Γιατί επέλεξα ένα τοπικό ρομπότ τύπου GPT

Χρησιμοποιώ το ChatGPT για λίγο και έχω κάνει ένα ολόκληρο παιχνίδι κωδικοποιημένο με τη μηχανή πριν. Ωστόσο, για αυτήν την έκδοση, χρησιμοποίησα τη μηχανή GPT μόνο στο διαδίκτυο και συνειδητοποίησα ότι ήταν λίγο περιορισμένη στις απαντήσεις της. Ψάχνοντας για μια λύση για μελλοντικά έργα, συνάντησα GPT4Allένα έργο GitHub με κώδικα για την ιδιωτική εκτέλεση LLM στο μηχάνημα του σπιτιού σας. Αποφάσισα να το εγκαταστήσω για μερικούς λόγους, κυρίως:

• Τα δεδομένα μου παραμένουν ιδιωτικά, επομένως δεν χρειάζεται να ανησυχώ μήπως το OpenAI συλλέξει οποιοδήποτε από τα δεδομένα που χρησιμοποιώ στο μοντέλο.
• Οι απαντήσεις δεν φιλτράρονται μέσω των οδηγιών λογοκρισίας του OpenAI.
• Μπορώ να χρησιμοποιήσω το τοπικό LLM με προσωπικά έγγραφα για να μου δώσω πιο προσαρμοσμένες απαντήσεις με βάση το πώς να γράφω και να σκέφτομαι.
• Εάν αποσυνδεθώ, εξακολουθώ να έχω ένα LLM στο τοπικό μου μηχάνημα που μπορώ να χρησιμοποιήσω για ό,τι χρειαστώ.

Αν είστε σαν εμένα και θέλετε μια τοπική έκδοση του αγαπημένου σας LLM που δεν λογοκρίνει τον εαυτό του, ακολουθεί μια αναλυτική περιγραφή του πώς να το κάνετε.

Κατεβάστε το GPT4All

Η έναρξη με αυτό είναι τόσο απλή όσο η λήψη του πακέτου από το GPT4All γρήγορη εκκίνηση τοποθεσία. Η λήψη του πακέτου είναι απλή και η εγκατάσταση είναι απλή. Απλώς να γνωρίζετε ότι θα χρειαστείτε περίπου 1 GB αποθηκευτικού χώρου για τη βασική εφαρμογή χωρίς κανένα από τα μοντέλα. Μόλις επιλέξετε μια τοποθεσία για την εγκατάστασή σας, θα πρέπει να περιμένετε μέχρι το αποθετήριο να κατεβάσει όλα τα αρχεία.

Χάρη στον τρόπο ανάπτυξης της Nomic, η εγκατάσταση θα λειτουργήσει στα πιο κοινά λειτουργικά συστήματα. Υπάρχουν διανομές στον ιστότοπο γρήγορης εκκίνησης για Windows, καθώς και Linux και macOS. Η απαίτηση χώρου είναι το μόνο πράγμα που θα πρέπει να προσέξετε πριν την εγκατάσταση.

Εκτέλεση GPT4All

Μόλις ολοκληρώσετε την εγκατάσταση, η εκτέλεση του GPT4All είναι τόσο απλή όσο η αναζήτηση της εφαρμογής. Η εκκίνησή του μάς προτρέπει να έχουμε μερικές επιλογές, όπως τροφοδοσία τοπικών εγγράφων ή συνομιλία με το ενσωματωμένο μοντέλο. Κατά μήκος της αριστερής πλευράς του παραθύρου, μπορούμε να έχουμε πρόσβαση σε άλλες συνομιλίες που είχαμε προηγουμένως και να ελέγξουμε τα τοπικά έγγραφα που χρησιμοποιήσαμε για να ενημερώσουμε το τοπικό μας chatbot AI. Ωστόσο, το πιο σημαντικό πράγμα που έχετε εδώ είναι η καρτέλα μοντέλα.

Από προεπιλογή, ξεκινάτε χωρίς εγκατεστημένα μοντέλα, αλλά γρήγορα θα συνειδητοποιήσετε ότι έχετε πρόσβαση σε μια μεγάλη ποικιλία μοντέλων που μπορείτε να κατεβάσετε και να χρησιμοποιήσετε εντελώς δωρεάν. Ας δούμε πώς ενημερώνετε αυτό το κενό chatbot σε κάτι πραγματικά εντυπωσιακό.

Λήψη νέων μοντέλων για το τοπικό σας Chatbot

Η καρτέλα μοντέλα στην επάνω αριστερή γωνία της οθόνης θα ανοίξει μια περιοχή που σας επιτρέπει να σαρώσετε τα διαθέσιμα μοντέλα. Κάθε ένα από τα μοντέλα θα έχει έναν περιγραφέα που σας λέει τι προσφέρει το μοντέλο και για τι είναι κατάλληλο. Θα σας δώσει επίσης μια ιδέα για το μέγεθος (το οποίο κυμαίνεται από 2 GB έως 7 GB χώρου) που θα χρειαστείτε για την εγκατάσταση του μοντέλου.

Επειδή πρόκειται για ένα πλήρες μοντέλο εκτός σύνδεσης, θα πρότεινα να χρησιμοποιήσετε ένα μοντέλο Mistral (διάσημο για το HuggingChat). Γιατί να αποφύγει κανείς τη χρήση του πραγματικού ChatGPT; Ας ξεκαθαρίσουμε τους λόγους.

Πρώτον, το ChatGPT 4 απαιτεί ένα κλειδί πρόσβασης API, το οποίο πρέπει να πληρώσετε. Το μοντέλο 3.5 διατίθεται δωρεάν, αλλά το εύρος επεξεργασίας του είναι περιορισμένο. Το GPT4All επιτρέπει επίσης στους χρήστες να αξιοποιήσουν την ισχύ της πρόσβασης API, αλλά και πάλι, αυτό μπορεί να περιλαμβάνει την αποστολή δεδομένων από το μοντέλο στο OpenAI. Τα τοπικά έγγραφα θα είναι προσβάσιμα μόνο σε εσάς. Το OpenAI ισχυρίζεται ότι κανένα από τα δεδομένα που συλλέγει μέσω API θα χρησιμοποιηθεί για την εκπαίδευση του LLM, αλλά η μόνη εγγύηση που έχετε είναι ο λόγος της εταιρείας.

Παρά το γεγονός ότι το ChatGPT είναι ένα από τα πιο γνωστά chatbot, δεν είναι η μόνη μηχανή τεχνητής νοημοσύνης που έχετε στη διάθεσή σας. Λόγω της απόλυτης ευελιξίας των διαθέσιμων μοντέλων, δεν περιορίζεστε στη χρήση του ChatGPT για το τοπικό chatbot που μοιάζει με GPT.

Μοντέλα όπως το Llama3 Instruct, το Mistral και το Orca δεν συλλέγουν τα δεδομένα σας και συχνά σας δίνουν απαντήσεις υψηλής ποιότητας. Με βάση τις προτιμήσεις σας, αυτά τα μοντέλα μπορεί να είναι καλύτερες επιλογές από το ChatGPT. Το καλύτερο που έχετε να κάνετε είναι να πειραματιστείτε και να καθορίσετε ποια μοντέλα ταιριάζουν στις ανάγκες σας. Θυμηθείτε, θα χρειαστείτε ακόμα χώρο για να αποθηκεύσετε το μοντέλο, επομένως μην έχετε πολλά μοντέλα στο μηχάνημά σας εάν χρησιμοποιείτε μόνο ένα.

Ρύθμιση πρόσβασης για τοπικά έγγραφα

Εάν σκοπεύετε να χρησιμοποιήσετε το τοπικό σας chatbot για να σας βοηθήσει με τη δημιουργία εγγράφων ή να σας καθοδηγήσει σε άλλα πράγματα, θα πρέπει πρώτα να δημιουργήσετε μια συλλογή εγγράφων. Ευτυχώς, το GPT4All το κάνει αυτό απλό. Απλώς τοποθετήστε όλα τα έγγραφα στα οποία θέλετε να έχει πρόσβαση το μοντέλο σε έναν φάκελο με εύκολη πρόσβαση και τοποθετήστε τον κινητήρα στον φάκελο χρησιμοποιώντας το κουμπί “Προσθήκη συλλογής”. Ο χρόνος επεξεργασίας θα διαφέρει ανάλογα με τον αριθμό των εγγράφων που έχει ο φάκελος, αλλά δεν θα χρειαστεί πολύς χρόνος.

Μόλις προσθέσετε τον τοπικό σας φάκελο εγγράφων, το chatbot σας θα μπορεί να έχει πρόσβαση και να διαβάζει τα έγγραφα και να σας συμβουλεύει για οτιδήποτε του ζητήσετε. Αυτό είναι πολύ χρήσιμο εάν θέλετε να μάθετε για ένα συγκεκριμένο θέμα, αλλά δεν έχετε τον χρόνο να σκάψετε μέσα από μια εγκυκλοπαίδεια βιβλίων. Είναι πολύ πιο αποτελεσματικό να συνομιλία με το περιεχόμενο και πάρτε αυτό που θέλετε από αυτό.

Συμβουλές για την αποτελεσματική χρήση του τοπικού σας Chatbot

Τα chatbots είναι τόσο χρήσιμα όσο τα φτιάχνετε εσείς. Διαπίστωσα ότι υπήρχαν μερικά πράγματα που θα έπρεπε να γνωρίζουν οι νέοι χρήστες ενός chatbot εκτός σύνδεσης.

Ένα από τα πιο σημαντικά πράγματα που δεν έχω αναφέρει ακόμη είναι ότι το GPT4All τρέχει σε ένα τουλάχιστον 8 GB μνήμης RAM. Αν και μπορείτε να προσπαθήσετε να εκτελέσετε το bot με λιγότερο από αυτό, σίγουρα δεν συνιστάται.

Μπορείτε να δημιουργήσετε μεμονωμένες συλλογές για διαφορετικές κατηγορίες εγγράφων. Για παράδειγμα, εάν έχετε ένα σύνολο εγγράφων που χρησιμοποιείτε για ένα απλό έργο και ένα που χρησιμοποιείτε επαγγελματικά, το bot μπορεί να αναπτύξει δύο στυλ απόκρισης με βάση αυτό που χρειάζεστε. Κάθε συλλογή εγγράφων μπορεί να υποβληθεί σε επεξεργασία ξεχωριστά για να αποφευχθεί η επικάλυψη.

Τέλος, θυμηθείτε να διατηρείτε ενημερωμένα τα μοντέλα σας.

Κάθε τόσο, θα πρέπει να ελέγχετε για ενημερωμένα μοντέλα για πιο αποτελεσματική χρήση chatbot. Τα νεότερα μοντέλα ενδέχεται επίσης να συνοδεύονται από ενημερωμένες θήκες χρήσης, επομένως η ανάγνωση των σημειώσεων έκδοσης θα σας βοηθήσει να τα προσαρμόσετε σε αυτό που θέλετε να κάνουν. Θυμηθείτε, εάν χρησιμοποιείτε ένα νέο μοντέλο, θα πρέπει να επεξεργαστείτε ξανά τα έγγραφα χρησιμοποιώντας αυτό το μοντέλο. Δεν υπάρχει συμβατότητα προς τα πίσω με παλαιότερα μοντέλα.

Τα chatbots μπορούν να είναι ισχυροί τρόποι για γρήγορη παρακολούθηση της μάθησης ή βοήθεια σε δημιουργικές επιχειρήσεις, όπως η συγγραφή ενός μυθιστορήματος. Ωστόσο, εξακολουθούν να είναι μόνο εργαλεία και είναι τόσο καλά όσο τα δεδομένα από τα οποία εργάζονται και τα μοντέλα που κάνουν την επεξεργασία. Η ύπαρξη ενός τοπικού chatbot σάς δίνει τη δυνατότητα να ελέγχετε τα δεδομένα στα οποία έχει πρόσβαση και μαθαίνει το bot. Επίσης, παρέχει πιο συγκεκριμένες απαντήσεις από ό,τι θα λαμβάνατε από τα ηλεκτρονικά μοντέλα. Μόλις τα κρατήσετε ενημερωμένα, θα λειτουργήσουν ως εξαιρετικοί βοηθοί.