Μια ομάδα ερευνητών της Microsoft ανακοίνωσε ένα νέο μεγάλο γλωσσικό μοντέλο (LLM), το Phi-3, το οποίο είναι αρκετά μικρό ώστε να αποθηκεύεται τοπικά σε ένα smartphone. Σε ένα ερευνητικό έγγραφο που κυκλοφόρησε αυτή την εβδομάδα, οι προγραμματιστές του Phi-3 εξηγούν ότι το LLM εκπαιδεύτηκε τόσο σε πραγματικά όσο και σε "συνθετικά", ή αλλιώς τεχνητής νοημοσύνης, δεδομένα.
"Ένας συνδυασμός φιλτραρίσματος δεδομένων ιστού LLM και συνθετικών δεδομένων LLM, επιτρέπουν επιδόσεις σε μικρότερα γλωσσικά μοντέλα που συνήθως παρατηρούνταν μόνο σε πολύ μεγαλύτερα μοντέλα", γράφουν οι ερευνητές.
Οι τρεις εκδόσεις του Phi-3 που ονομάζονται Mini, Small και Medium έχουν εκπαιδευτεί σε περισσότερα δεδομένα από τον προκάτοχό του, το Phi-2. Αλλά οι δημιουργοί του ισχυρίζονται ότι το Phi-3 μπορεί να αποδώσει στο ίδιο επίπεδο με μοντέλα όπως το Mixtral 8x7B της Mistral ή το GPT-3.5 της OpenAI. Στις δοκιμές τους, οι ερευνητές της Microsoft μπόρεσαν να τρέξουν το Phi-3 Mini από ένα iPhone με τσιπ Apple A16 Bionic και το έβαλαν να γράψει ποιήματα, να απαριθμήσει πράγματα που πρέπει να κάνει κανείς στο Χιούστον του Τέξας και να βρει έναν τίτλο για μια ακαδημαϊκή εργασία, για παράδειγμα.
Κατά την εκπαίδευση του Phi-3 Medium, ωστόσο, οι ερευνητές παρατήρησαν ότι οι δυνατότητές του δεν αυξάνονταν αναλογικά με το μεγαλύτερο μοντέλο. Ως αποτέλεσμα, οι εκδόσεις Medium και Small του τεχνολογικού γίγαντα βρίσκονται ακόμη σε εξέλιξη, αλλά το Mini κυκλοφορεί στα Hugging Face, Azure και Ollama. Όταν πρόκειται για το Phi-3, ίσως το μεγαλύτερο δεν είναι απαραίτητα καλύτερο -ειδικά αν σκεφτεί κανείς ότι τα μικρότερα μοντέλα AI που μπορούν να τρέχουν τοπικά στις συσκευές των χρηστών είναι καλύτερα για το περιβάλλον από τα μεγαλύτερα που λειτουργούν μέσω ενεργοβόρων κέντρων δεδομένων.
Ο Eric Boyd της Microsoft, εταιρικός αντιπρόεδρος του Azure AI, λέει ότι το Phi-3 εκπαιδεύτηκε σε ένα "πρόγραμμα σπουδών" δεδομένων. "Δεν υπάρχουν αρκετά παιδικά βιβλία εκεί έξω, οπότε πήραμε μια λίστα με περισσότερες από 3.000 λέξεις και ζητήσαμε από ένα LLM να φτιάξει "παιδικά βιβλία" για να διδάξει το Phi", λέει ο Boyd σε συνέντευξή του στο The Verge.
Η Microsoft οραματίζεται το Phi-3 ως έναν συνδυασμό των προκατόχων του, Phi-1 και Phi-2. Δεν έχει τόσο ευρεία βάση γνώσεων όσο άλλα μοντέλα όπως το GPT-4, αλλά είναι σε θέση να γράφει κώδικα, να ολοκληρώνει εργασίες δημιουργικής γραφής ή να απαντά σε πληροφοριακές ερωτήσεις.
Ωστόσο, η εκπαίδευση των LLMs σε υπάρχοντα παιδικά βιβλία -ή συνθετικά βιβλία που αντλούν από το έργο κάποιου άλλου που προστατεύεται με πνευματικά δικαιώματα- παραμένει μια νομική γκρίζα ζώνη στις ΗΠΑ. Μια ομάδα μυθιστοριογράφων μήνυσε την Nvidia τον περασμένο μήνα, ισχυριζόμενη παραβίαση πνευματικών δικαιωμάτων επειδή το NeMo Megatron της Nvidia εκπαιδεύτηκε πάνω στα βιβλία τους. Η μήνυση των The New York Times για πνευματικά δικαιώματα κατά της Microsoft και της OpenAI παραμένει επίσης σε εξέλιξη. Νωρίτερα αυτό το μήνα, παρουσιάστηκε στο αμερικανικό Κογκρέσο ένα νέο νομοσχέδιο με την ονομασία Generative AI Copyright Disclosure Act, το οποίο, αν ψηφιστεί, θα υποχρεώνει τις εταιρείες τεχνολογίας να ενημερώνουν το Γραφείο Πνευματικών Δικαιωμάτων των ΗΠΑ αν τα εργαλεία τεχνητής νοημοσύνης τους εκπαιδεύτηκαν σε δεδομένα που προστατεύονται από πνευματικά δικαιώματα πριν τα κυκλοφορήσουν.