Viktiga takeaways:
- Du kan använda verktyg som Ollama för att utnyttja funktionerna hos AI-modeller med öppen källkod direkt på din enhet.
- När du kör dessa AI-modeller lokalt kommer du att kringgå molnberoende och låsa upp fördelar som integritet och snabbare slutledning.
Hur man kör AI-modeller lokalt på Windows med Ollama
Du kan köra AI-modeller som ChatGPT lokalt på din dator utan internetanslutning. Massor av tjänster hjälper dig med denna process. Men vi kommer att visa det med Ollama.
Ladda ner och installera Ollama
Steg 1: Navigera till Ollamas hemsida och klicka på knappen Ladda ner.
![Laddar ner Ollama](https://i0.wp.com/www.alphr.com/wp-content/uploads/2024/05/Download-button-on-Ollama.png?resize=627%2C487&ssl=1)
Steg 2: Välj ditt operativsystem och klicka på Ladda ner.
![Ollama nedladdningsalternativ](https://i0.wp.com/www.alphr.com/wp-content/uploads/2024/05/Download-ollama.png?resize=492%2C349&ssl=1)
![Ollama nedladdningsalternativ](https://i0.wp.com/www.alphr.com/wp-content/uploads/2024/05/Download-ollama.png?resize=492%2C349&ssl=1)
Steg 3: Dubbelklicka på den nedladdade filen > klicka på Installera > följ installationsinstruktionerna.
![Installera Ollama](https://i0.wp.com/www.alphr.com/wp-content/uploads/2024/05/Install-Ollama.png?resize=690%2C509&ssl=1)
![Installera Ollama](https://i0.wp.com/www.alphr.com/wp-content/uploads/2024/05/Install-Ollama.png?resize=690%2C509&ssl=1)
När det är installerat bör du se en popup som säger att Ollama körs.
Steg 4: Starta din terminal. I Windows, tryck på Windows + R, skriv cmd och tryck på Enter.
Steg 5: Ladda ner din första AI-modell med kommandot nedan. Se till att du byter ut modellen med en riktig modell på Ollama; dessa kan vara Llama 3, Phi 3, Mistral, Gemma, etc. Ha tålamod; det här kan ta ett tag.
Ollama pull model
![Ladda ner modell](https://i0.wp.com/www.alphr.com/wp-content/uploads/2024/05/Model-download.jpg?resize=690%2C259&ssl=1)
![Ladda ner modell](https://i0.wp.com/www.alphr.com/wp-content/uploads/2024/05/Model-download.jpg?resize=690%2C259&ssl=1)
Hur man kommunicerar med nedladdade modeller på Ollama
Nu när du har installerat AI-modellen kan du kommunicera med den. Detta liknar att kommunicera med Gemini eller ChatGPT AI från webbgränssnitten. Följ stegen nedan.
Steg 1: Starta Terminal på din dator.
Steg 2: Skriv kommandot nedan. Du kan ersätta llama3 i kommandot för namnet på modellen du laddade ner.
Ollama run llama3
![Ollama kör lama3](https://i0.wp.com/www.alphr.com/wp-content/uploads/2024/05/running-llama-commands.png?resize=690%2C291&ssl=1)
![Ollama kör lama3](https://i0.wp.com/www.alphr.com/wp-content/uploads/2024/05/running-llama-commands.png?resize=690%2C291&ssl=1)
Steg 3: Skriv slutligen din prompt och tryck på Enter som du skulle göra på ChatGPT eller Gemini. Du bör då kunna interagera med AI:n.
FAQ
Kan du köra generativ AI lokalt?
Ja, du kan, och för närvarande är stabil diffusion det mest pålitliga sättet. Verktyg som Stabil Diffusion WebUI och InvokeAI ge tillgång till Stable Diffusion för lokal bildgenerering.