Hur man kör AI-modeller lokalt på Windows utan internet

Viktiga takeaways:

Du kan använda verktyg som Ollama för att utnyttja funktionerna hos AI-modeller med öppen källkod direkt på din enhet.
När du kör dessa AI-modeller lokalt kommer du att kringgå molnberoende och låsa upp fördelar som integritet och snabbare slutledning.

Hur man kör AI-modeller lokalt på Windows med Ollama

Du kan köra AI-modeller som ChatGPT lokalt på din dator utan internetanslutning. Massor av tjänster hjälper dig med denna process. Men vi kommer att visa det med Ollama.

Ladda ner och installera Ollama

Steg 1: Navigera till Ollamas hemsida och klicka på knappen Ladda ner.

Steg 2: Välj ditt operativsystem och klicka på Ladda ner.

Steg 3: Dubbelklicka på den nedladdade filen > klicka på Installera > följ installationsinstruktionerna.

När det är installerat bör du se en popup som säger att Ollama körs.

Steg 4: Starta din terminal. I Windows, tryck på Windows + R, skriv cmd och tryck på Enter.

Steg 5: Ladda ner din första AI-modell med kommandot nedan. Se till att du byter ut modellen med en riktig modell på Ollama; dessa kan vara Llama 3, Phi 3, Mistral, Gemma, etc. Ha tålamod; det här kan ta ett tag.

Ollama pull model

Hur man kommunicerar med nedladdade modeller på Ollama

Nu när du har installerat AI-modellen kan du kommunicera med den. Detta liknar att kommunicera med Gemini eller ChatGPT AI från webbgränssnitten. Följ stegen nedan.

Steg 1: Starta Terminal på din dator.

Steg 2: Skriv kommandot nedan. Du kan ersätta llama3 i kommandot för namnet på modellen du laddade ner.

Ollama run llama3

Steg 3: Skriv slutligen din prompt och tryck på Enter som du skulle göra på ChatGPT eller Gemini. Du bör då kunna interagera med AI:n.

FAQ

Kan du köra generativ AI lokalt?

Ja, du kan, och för närvarande är stabil diffusion det mest pålitliga sättet. Verktyg som Stabil Diffusion WebUI och InvokeAI ge tillgång till Stable Diffusion för lokal bildgenerering.