Scopri come eseguire AnythingLLM in self-hosting, una delle alternative locali a strumenti come Perplexity e inizia a costruire un ambiente AI locale più controllabile e pratico (RAG, ricerche web, recupero pagine web con qualsiasi LLM in locale, agenti AI).

🔗 https://www.risposteinformatiche.it/anythingllm-in-locale-guida-pratica-passo-passo/

@linux @opensource

#AnythingLLM #LLM #SelfHosted #Linux #Docker #OpenSource #Perplexity #UnoLinux #UnoOpenSource #Ollama #LMStudio #Gratis #Free

you are viewing a single comment's thread
view the rest of the comments
[–] 1 point 5 months ago (3 children)

@Dragone2 Mi piacerebbe molto provarlo, ma sul mio computer gli LLM locali sono lentissimi, praticamente inutilizzabili 😕 @linux @opensource

  • source
  • hideshow 3 child comments
  • [–] [S] 1 point 5 months ago (2 children)

    @emmecola @linux @opensource beh, se non hai una scheda video dedicata recente, è normale purtroppo. Diciamo che per quello che ho visto, dalla fascia media (es. RTX 4050) di NVIDIA si riesce a far girare LLM piccoli, come Gemma 4. Ovviamente se pretendi di eseguire LLM grandi, con tanti parametri ti andranno sempre lenti, ma se usi un LLM che sta dentro la VRAM della tua GPU, non ha problemi. Ti consiglio di dare un’occhiata a whichllm, un tool su GitHub

  • source
  • parent
  • hideshow 2 child comments
  • [–] [S] 1 point 5 months ago (1 child)

    @emmecola @linux @opensource https://github.com/Andyyyy64/whichllm questo, sostanzialmente, basandosi sul tuo HW ti consiglia quali LLM sono compatibili / a che velocità e quali sarebbero consigliati, basandosi su benchmark fatti da altri utenti con configurazioni HW simili alla tua.

  • source
  • parent
  • hideshow 1 child comment