[deleted]
[deleted]
[deleted]
@emmecola @linux @opensource https://github.com/Andyyyy64/whichllm questo, sostanzialmente, basandosi sul tuo HW ti consiglia quali LLM sono compatibili / a che velocità e quali sarebbero consigliati, basandosi su benchmark fatti da altri utenti con configurazioni HW simili alla tua.
@emmecola @linux @opensource beh, se non hai una scheda video dedicata recente, è normale purtroppo. Diciamo che per quello che ho visto, dalla fascia media (es. RTX 4050) di NVIDIA si riesce a far girare LLM piccoli, come Gemma 4. Ovviamente se pretendi di eseguire LLM grandi, con tanti parametri ti andranno sempre lenti, ma se usi un LLM che sta dentro la VRAM della tua GPU, non ha problemi. Ti consiglio di dare un’occhiata a whichllm, un tool su GitHub
view more:
next ›