Lokal LLM modellari: O'zbekcha benchmark taqqoslashi va chuqurlashtirilgan topshiriqlar tahlili

Jami so'rovlar (testlar)

280

7 ta model × 20 ta savol × 2 til

Sinovdan o'tgan modellar

Gemma 3, Gemma 4, Qwen & GPT-OSS

Eng yuqori sifat ko'rsatkichi

Q27B (7.52)

Inglizcha javob tarjimasi

Token tejamkorligi (prompt)

+45%

Ingliz tilida kamroq token

📋 Modellarning 20 ta savol bo'yicha ko'rsatkichlari jadvali

Model	To'g'ridan-to'g'ri o'zbekcha ball	Inglizcha javob tarjimasi balli	G'oliblik (UZ / EN)	O'rtacha vaqt (UZ / EN)	Prompt tokenlar (UZ / EN)	Tezlik (token/sek)

🎯 Ma'no sifati (1-10 shkala bo'yicha LLM Judge balli)

⚡ Generatsiya tezligi (token / sekund)

⏱️ Bajarilish vaqti (o'rtacha sekundlarda)

🔤 Kirish tokenlari sarfi (prompt tokenlar)

Chuqurlashtirilgan topshiriqlar soni

Omonimlar, g'azal, morfologiya va logika

Eng tezkor model (tezlik)

GPT-20B

93.61 token / sekund

Eng ko'p token generatsiyasi

Qwen 3.5 9B

45,827 token (4.5k/topshiriq)

O'zbekcha to'g'ri mantiqli model

Gemma 3 12B

Lokal o'zbek tili yetakchisi

📝 Chuqurlashtirilgan 6 ta topshiriq bo'yicha modellarning umumiy natijalari

Model	To'liq nomi	Jami sarflangan vaqt (sekund)	Jami generatsiya qilingan tokenlar	O'rtacha tezlik (token/sekund)

⚡ Generatsiya tezligi (token / sekund)

⏱️ Jami sarflangan vaqt (sekundlarda)

🔍 Chuqurlashtirilgan topshiriqlar va modellarning toza javoblari inspektori

Modelni tanlang:

Topshiriqni tanlang:

💡 Asosiy tahlillar va amaliy tavsiyalar

1. Nega inglizcha so'rovlar yuqori ma'no sifatini beradi?

Ochiq kodli LLM modellarining asosiy o'quv korpusi (training dataset) ingliz tilidagi manbalardan iborat. Model inglizcha so'rov olganda mantiqiy zanjir (chain of thought) hamda bilim bazasini to'liq ishga soladi. Gemini API orqali ushbu javob o'zbek tiliga tarjima qilinganda, to'g'ridan-to'g'ri o'zbekcha berilgan so'rovga qaraganda 2.5 baravar aniqroq va mantiqliroq bo'lib chiqdi.

2. Tokenizatsiya samaradorligi (prompt tokenlar)

O'zbek tilida yozilgan matnlar sub-word tokenizatsiyada inglizcha matnlarga qaraganda 40-50% ko'proq token talab qiladi. Bu esa modelning kontekst xotirasini tezroq to'ldiradi. Ingliz tilida so'rov yuborish kontekst hajmida katta tejamkorlik beradi.

3. Tavsiya etiladigan lokal modellar: Gemma 3 12B, Qwen 3.5 27B va GPT-OSS 20B

To'g'ridan-to'g'ri o'zbek tilida tabiiy fikrlash uchun Gemma 3 12B (4.10 ball), murakkab mantiq va inglizcha tarjimalar uchun Qwen 3.5 27B Custom (7.52 ball) va o'ta tezkor generatsiya uchun GPT-OSS 20B (93.61 tok/sek) eng yuqori natijalarni ko'rsatdi.