Falcon 180B
(pour ‘‘Fast and Large-scale Attention Multi-Queries Network’’)[1].
(pour ‘‘Fast and Large-scale Attention Multi-Queries Network’’)[1].
| Créateur | Technology Innovation Institute (TII) |
|---|---|
| Développé par | Applied AI Research Centre |
| Première version | |
| Dernière version |
Falcon 40B 1er de la série Falcon : () |
| État du projet | publié et en développement |
| Taille des données | 3,5 trillions de jetons (tokens) |
| Langues | Multilingue |
| Type | Grand modèle de langage |
| Politique de distribution | Gratuit sous certaines conditions |
| Licence | Licence TII Falcon 180B |
| Site web | Site officiel |
Falcon 180B est un grand modèle de langage (LLM) développé par le Technology Innovation Institute (TII) des Émirats arabes unis, basé à Abu Dhabi. En 2023, c'est le plus grand modèle de langage ouvert, avec 180 milliards de paramètres et entraîné sur un corpus de 3,5 trillions de jetons (tokens) provenant du jeu de données RefinedWeb, disponible au public à l'automne 2023.
- Philippe Schmid, « Spread Your Wings: Falcon 180B is here », sur Hugging Face Blog, (consulté le )