Gorilla AI adalah sebuah proyek yang bertujuan untuk menciptakan model bahasa generatif berskala besar (large language models) yang dapat menghasilkan:
- Teks yang koheren
- Relevan
- Informatif dari berbagai domain dan genre.
Proyek ini didasarkan pada arsitektur Transformer, yang merupakan sebuah metode untuk membangun model berbasis atensi yang dapat mempelajari hubungan antara kata-kata dalam teks.
Proyek ini juga menggunakan teknik-teknik seperti:
- Data augmentation
- Self-supervised learning
- Multi-task learning
- Knowledge distillation
Guna meningkatkan kualitas dan efisiensi model. Salah satu hasil dari proyek Gorilla AI adalah GPT-3-Gorilla, yang merupakan sebuah model bahasa generatif yang dilatih dengan lebih dari 500 miliar kata dari berbagai sumber data, seperti web, buku, media sosial, dan lain-lain.
Model tersebut memiliki 175 miliar parameter, yang merupakan ukuran terbesar di antara model-model sejenis. Model ini dapat menghasilkan teks yang berkualitas tinggi untuk berbagai tujuan, seperti:
- Penulisan kreatif
- Ringkasan berita
- Pencarian informasi
- Dialog, dan lain-lain.
Gorilla AI adalah sebuah proyek yang menunjukkan kemajuan dan potensi dari teknologi AI dalam bidang pemrosesan bahasa alami (NLP). Proyek ini juga menimbulkan tantangan dan pertanyaan terkait dengan etika, keamanan, dan keadilan dari penggunaan AI.
Microsoft berkomitmen untuk mengembangkan dan menggunakan AI dengan cara yang bertanggung jawab, transparan, dan dapat dipercaya.
Sumber:
