Datorseende är ett område av artificiell intelligens som gör det möjligt för datorer att förstå bilder, videor och annan visuell information. Computer Vision Engineers utvecklar mjukvarusystem som kan känna igen objekt, analysera bilder, förstå scener och extrahera användbar information från visuella data.
Du kanske bygger system som upptäcker defekter i tillverkade produkter, känner igen objekt på fotografier, analyserar medicinska bilder, spårar fordon, hjälper robotar att förstå sin omgivning eller bearbetar bilder från kameror och satelliter.
Denna karriär kombinerar programmering, matematik, bildbehandling, maskininlärning och mjukvaruteknik. Du behöver inte bemästra allt på en gång. En strukturerad inlärningsväg kan hjälpa dig att utveckla de färdigheter som krävs steg för steg.
Vad gör en datorseendeingenjör?
En Computer Vision Engineer utvecklar och underhåller system som bearbetar visuell information.
Typiska ansvarsområden inkluderar:
- Samla in och förbereda bild- eller videodatauppsättningar
- Rengöring och märkning av visuella data
- Utveckla bildbehandlingspipelines
- Träna modeller för maskininlärning och djupinlärning
- Bygga system för bildklassificering, detektering och segmentering
- Bearbetar och analyserar video
- Utvärdera modellens prestanda
- Undersöka och minska modellfel
- Optimera modeller för hastighet och minnesanvändning
- Distribuera modeller i applikationer och produktionssystem
- Arbeta med GPU:er, servrar eller edge-enheter.
Modern datorseende är starkt beroende av djupinlärning, men traditionella bildbehandlingstekniker är fortfarande användbara. Arbetsgivare letar vanligen efter ingenjörer med färdigheter i Python, OpenCV, ramverk för djupinlärning och maskininlärning, medan vissa positioner också kräver C++, CUDA, 3D-vision eller erfarenhet av implementering.
Hur man blir en Computer Vision Engineer
1. Lär dig Python först
Python är ett av de mest användbara programmeringsspråken för datorseende och maskininlärning.
Du bör lära dig grundläggande begrepp inom Python-programmering, inklusive variabler och datatyper, villkor och loopar, funktioner, klasser, moduler, undantag, filhantering och objektorienterad programmering. Du bör också lära dig hur du använder virtuella miljöer och hanterar paket, samt hur du felsöker din kod när problem uppstår.
Du bör också lära dig NumPy eftersom bilder kan representeras som flerdimensionella numeriska arrayer. Bekantskap med Matplotlib och pandor är också användbar.
Spendera inte månader på att försöka memorera varje Python-funktion. Lär dig tillräckligt med programmering för att bygga allt mer komplexa projekt.
2. Lär dig nödvändig matematisk kunskap
Du behöver ingen avancerad matematik innan du lär dig datorseende, men en solid matematisk grund kommer att bli allt mer värdefull.
Börja med linjär algebra. Lär dig om vektorer, matriser, matrismultiplikation, punktprodukter, transformationer, egenvärden och koordinatsystem.
Studera sedan sannolikhet och statistik. Viktiga begrepp inkluderar sannolikhetsfördelningar, medelvärde, varians, betingad sannolikhet, urval, korrelation och statistisk utvärdering.
Grundläggande kalkyl är också användbar för att förstå hur neurala nätverk lär sig. Fokus på derivator, gradienter, partiella derivator och optimering.
Geometri är särskilt viktig för datorseende eftersom bilder och kameror involverar koordinater, transformationer, perspektiv och tredimensionellt rymd.
Målet är inte att bli matematiker. Du bör förstå matematiken tillräckligt bra för att veta vad dina algoritmer och modeller gör.
3. Lär dig bildbehandling och OpenCV
Innan du koncentrerar dig helt på djupinlärning, lär dig grunderna i digital bildbehandling.
OpenCV är ett viktigt bibliotek för praktisk datorseende. Öva operationer som:
- Läsa och spara bilder
- Ändra storlek och beskära bilder
- Roterande bilder
- Ändra färgrymder
- Suddighet och skärpning
- Tröskelvärde
- Kantdetektering
- Hitta konturer
- Morfologiska operationer
- Geometriska transformationer
- Bearbetar video
- Läser kameraingång.
Traditionell bildbehandling kan ibland lösa ett problem utan ett neuralt nätverk. Ännu viktigare, att förstå bildmanipulation hjälper dig att förstå vad som händer med visuell data innan den når en maskininlärningsmodell.
4. Lär dig maskininlärning
Ett gediget grepp om grunderna för maskininlärning kan avsevärt förbättra hur du närmar dig datorseende.
Lär dig mer om:
- Utbildning, validering och testdatauppsättningar
- Funktioner och etiketter
- Över- och underpassning
- Regularisering
- Dataökning
- Förlustfunktioner
- Optimering
- Inställning av hyperparameter
- Modellutvärdering.
Du bör förstå varför en modell kan prestera extremt bra på träningsbilder men dåligt på nya bilder.
För klassificering, lär dig mätvärden som noggrannhet, precision, återkallelse, F1-poäng och förvirringsmatriser.
För objektdetektering och segmentering, lär dig skärningspunkt över union och genomsnittlig medelprecision.
Att förstå modellutvärdering är lika viktigt som att veta hur man tränar en modell.
5. Lär dig djupinlärning och PyTorch
Deep learning är centralt för modern datorseende.
Börja med att lära dig grunderna i det neurala nätverket, inklusive lager, aktiveringsfunktioner, framåtriktad propagation, backpropagation, förlustfunktioner och gradientnedstigning.
Studera sedan konvolutionella neurala nätverk. Du bör förstå begrepp som veck, kärnor, funktionskartor, pooling, stoppning, steg och mottagliga fält.
Efter att ha förstått konvolutionella neurala nätverk, lär dig om moderna arkitekturer som kvarvarande nätverk, uppmärksamhetsmekanismer och syntransformatorer.
PyTorch är ett särskilt användbart ramverk att lära sig. Du bör veta hur man:
- Skapa och manipulera tensorer
- Ladda datauppsättningar
- Bygg neurala nätverk
- Skriv träningsslingor
- Använd förlustfunktioner och optimerare
- Träna modeller på GPU:er
- Spara och ladda modeller
- Finjustera förtränade modeller
- Utvärdera modeller.
PyTorchs officiella handledning tillhandahåller läromedel som täcker tensorer, datauppsättningar, modellkonstruktion, optimering, överföringsinlärning och datorseendeapplikationer.
Du kan också lära dig TensorFlow och Keras om de är relevanta för de jobb du vill ha, men att bli mycket bekväm med ett större ramverk är mer användbart än att ha ytlig kunskap om flera ramverk.
6. Förstå de viktigaste uppgifterna för datorseende
Du bör bekanta dig med de viktigaste datorseendeproblemen.
Bildklassificering
Klassificering tilldelar en kategori till en bild.
Till exempel kan en modell avgöra om ett fotografi innehåller en katt, hund eller fågel. Industrisystem kan också klassificera produkter som acceptabla eller defekta.
Objektdetektering
Objektdetektering identifierar objekt och deras platser, vanligtvis med hjälp av begränsningsrutor.
Ett trafiksystem skulle till exempel kunna upptäcka bilar, bussar, cyklar och fotgängare.
Bildsegmentering
Segmentering identifierar specifika pixlar som tillhör objekt eller regioner. Det är användbart för medicinska bilder, tillverkning, autonoma fordon, jordbruk och satellitbilder.
Objektspårning
Spårning följer objekt över videorutor. Tillämpningar inkluderar trafikövervakning, sportanalys, säkerhet och robotik.
Optisk teckenigenkänning
Optisk teckenigenkänning extraherar text från bilder. Du kan stöta på den här uppgiften vid dokumentbehandling, kvittoskanning, identitetsdokumentbehandling och automatiserad datainmatning.
3D datorseende
3D-vision handlar om djup, form och tredimensionella miljöer. Viktiga ämnen inkluderar stereoseende, djupkameror, punktmoln, LiDAR, 3D-rekonstruktion och visuell SLAM.
Du behöver inte specialisera dig inom alla områden. Lär dig grunderna och fokusera sedan på de områden som är relevanta för din önskade karriär.
7. Lär dig mer om data
Ett datorseendesystem beror mycket på kvaliteten på dess data.
Lär dig hur du:
- Hitta eller samla in lämpliga datauppsättningar
- Märk bilder
- Rensa data av dålig kvalitet
- Skapa utbildning, validering och testsplittringar
- Hantera klassobalans
- Använd realistisk dataökning
- Upptäck dataläckage
- Dokumentdatauppsättningar.
Dåliga etiketter eller icke-representativa bilder kan ge en dålig modell även när du använder en avancerad arkitektur.
Du bör också lära dig att utföra felanalys. Om en modell presterar dåligt på natten, till exempel, undersök om träningsdatan innehåller tillräckligt med nattbilder, om objekt är för mörka eller om rörelseoskärpa påverkar förutsägelserna.
8. Bygg praktiska projekt
Projekt är ett av de bästa sätten att visa dina förmågor.
Börja med ett projekt för bildklassificering. Välj en riktig datauppsättning, träna en modell med hjälp av överföringsinlärning och utvärdera dess prestanda.
Bygg sedan ett objektdetekteringsprojekt. Du kan till exempel skapa ett system som upptäcker bilar och motorcyklar i vägbilder.
Bygg sedan ett bildsegmenteringsprojekt. Du kan identifiera skadade områden på tillverkade produkter eller separera föremål från deras bakgrund.
Efter det bygger du ett videoanalysprojekt som upptäcker och spårar objekt.
Slutligen, skapa ett heltäckande program som accepterar en bild eller video, kör en datorseende modell och visar resultaten.
En portfölj behöver inte dussintals projekt. Fyra till sex väldokumenterade projekt är i allmänhet mer värdefulla än en stor samling kopierade handledningar.
9. Lägg dina projekt på GitHub
Din portfölj bör visa både maskininlärning och ingenjörsförmåga.
Varje större projekt bör innehålla:
- Ett tydligt README-dokument
- Problembeskrivning
- Datauppsättningsinformation
- Installationsanvisningar
- Utbildningsinstruktioner
- Utvärderingsresultat
- Exempelresultat
- Tekniska beslut
- Begränsningar
- Möjliga förbättringar.
Förklara vad du gjorde istället för att bara ladda upp en anteckningsbok.
Till exempel, istället för att säga att du ”arbetade med objektdetektering”, förklara vilket problem du löste, vilken datauppsättning du använde, hur du tränade modellen, vilka utvärderingsmått du valde och hur du förbättrade prestandan.
10. Lär dig mjukvaruteknik och implementering
Att träna en modell i en bärbar dator är bara en del av en Computer Vision Engineers arbete.
Lär dig Git, GitHub, Linux-grunderna, API:er, Docker, testning, loggning och programvaruorganisation.
Du bör också förstå hur man distribuerar modeller.
Användbara tekniker och koncept inkluderar:
- REST API:er
- Hamnarbetare
- ONNX
- GPU slutledning
- Modellkvantisering
- Modelloptimering
- Cloud computing
- Edge-distribution.
Produktionssystem kräver avvägningar mellan noggrannhet, hastighet, minne och kostnad.
Till exempel kan en modell som ger utmärkta förutsägelser men som tar flera sekunder att bearbeta en bild vara olämplig för ett realtidskamerasystem.
11. Lär dig C++ och GPU-datorer vid behov
Python är en utmärkt utgångspunkt, men C++ kan bli viktigt för prestandakritiska applikationer.
C++ är särskilt värdefullt inom robotik, bilsystem, inbyggda enheter och datorseende i realtid.
Du kan använda Python för experiment och maskininlärning medan du använder C++ för prestandakänsliga komponenter.
Du bör också förstå de grundläggande koncepten bakom GPU:er och CUDA. Avancerad CUDA-programmering är inte nödvändig när du börjar, men GPU-kunskapen blir allt mer användbar när du arbetar med stora modeller eller realtidsapplikationer.
12. Välj en inriktning
Efter att ha lärt dig grunderna, överväg att välja en bransch eller teknisk specialisering.
Arbete med autonoma fordon kan involvera objektdetektering, djupuppskattning, sensorfusion, LiDAR och 3D-seende.
Robotik kan involvera visuell lokalisering, poseringsuppskattning, djupuppfattning, visuell SLAM och realtidsinferens.
Sjukvården kan involvera röntgen, CT, MRI och patologi-bildanalys.
Tillverkning kan innebära automatiserad inspektion, defektdetektering, mätning och robotsystem.
Jordbruket kan involvera grödorövervakning, upptäckt av växtsjukdomar, frukträkning och ogräsdetektering.
Detaljhandel och videoanalys kan involvera produktigenkänning, lagerövervakning, objektspårning och kundanalys.
Din specialisering bör påverka de projekt du bygger och den avancerade teknik du studerar.