Et AI-kamera er mer enn et kamera med en modell. Den praktiske løsningen består av optikk, lys, bildeinnhenting, forbehandling, inferens, validering og en kontrollert handling. Raspberry Pi er et fleksibelt startpunkt; en NPU eller NVIDIA Jetson blir aktuell når modellen, bildefrekvensen eller antall kamerakilder krever mer.
Velg oppgave før du velger modell
«Gjenkjenn alt» er ikke en testbar spesifikasjon. En god første oppgave kan være å telle én type del i en avgrenset bakke, kontrollere om et verktøy ligger på plassen sin eller skille to kjente etikettformer. Definer hva som skal telles, hvilket synsfelt som gjelder, hvor raskt svaret må komme og hva systemet skal gjøre når det er usikkert.
Velg deretter problemtype. Hver type krever passende data, modell og evalueringsmål:
| Oppgavetype | Hva modellen leverer | Eksempel |
|---|---|---|
| Klassifisering | Én klasse for hele bildet | Er skuffen tom eller full? |
| Objektdeteksjon | Klasser, konfidens og rammer rundt hvert objekt | Telle skruer i en bakke |
| Segmentering | Merking av bildeområder piksel for piksel | Måle hvor stor del av et blad som er skadet |
| Poseestimering | Nøkkelpunkter, for eksempel ledd på en kropp | Følge en robotarm eller en bevegelse |
| Tekstgjenkjenning (OCR) | Tekst lest fra bildet | Lese en etikett eller et display |
Hele bildekjeden avgjør resultatet
Et dyrt regnekort kan ikke rette opp bevegelsesuskarphet, feil fokus eller motlys som skjuler detaljene. Fest kameraet mekanisk, sørg for stabil belysning og lås eksponering eller hvitbalanse når scenen tillater det. Velg oppløsning ut fra den minste detaljen modellen må se, ikke ut fra kameraets største tall.
Forbehandlingen må være den samme som modellen forventer: størrelse, beskjæring, fargerekkefølge og tallskalering. Etter inferens må rå score oversettes til en beslutning. Konfidensgrense, overlapp mellom rammer, tidsfilter og regler for ukjent klasse hører hjemme her. Lag en sikker standard: lav sikkerhet skal gi «ukjent» eller manuell kontroll, ikke en tvunget gjetning.
Raspberry Pi, AI Camera, NPU eller Jetson?
| Plattform | Godt startpunkt for | Fordel | Kontrollpunkt |
|---|---|---|---|
| Raspberry Pi på CPU | Én kamerastrøm, prototype og mindre modell | Linux, GPIO, kamera og enkelt programmiljø | Mål faktisk responstid, temperatur og CPU-belastning |
| Raspberry Pi AI Camera (Sony IMX500) | Støttet deteksjon eller pose i én kamerastrøm | Inferens i bildesensoren; fungerer med alle Pi-modeller som har kamerakontakt | Modellen må konverteres for IMX500 og være liten nok for sensoren |
| Raspberry Pi 5 med AI HAT+ (Hailo) | Støttede bildemodeller med høyere bildefrekvens | Flytter inferens fra CPU til NPU via PCIe | Krever Pi 5; modellen må kompileres for Hailo |
| NVIDIA Jetson Orin Nano | Flere kameraer, robotikk og tyngre bildemodeller | GPU med CUDA og TensorRT i JetPack | JetPack-versjon, kamera, strøm, kjøling og lagring |
| Edge-server | Mange samtidige strømmer eller større multimodal løsning | Mer minne og samlet drift | Nettverk, personvern, redundans og energibruk |
Raspberry Pi dokumenterer at AI Camera med Sony IMX500 kan kjøre nevrale nettverk i sensoren og levere inferensdata sammen med bildet. Offisielle eksempler omfatter MobileNet SSD for objektdeteksjon og PoseNet. Det betyr ikke at all etterbehandling er gratis: koordinater, terskler, tegning og applikasjonslogikk behandles fortsatt i programvaren på Pi-en. Hvis selve plattformen er ny, forklarer Raspberry Pi-grunnartikkelen forskjellen mellom Linux-maskinene og Pico-familien.
En vanlig kameramodul og CPU er ofte nok til å bevise konseptet. Når CPU-en blir flaskehalsen, kan en støttet NPU redusere inferensarbeidet. Jetson blir naturlig når systemet trenger flere CSI- eller USB-kameraer, mer krevende modeller eller CUDA-baserte verktøy. NVIDIA krever at kamera og andre komponenter kontrolleres mot valgt JetPack- og Jetson Linux-versjon.
Kom i gang med AI Camera
Raspberry Pis dokumentasjon beskriver en kort vei fra ny installasjon til første deteksjon. Pakken med fastvare og ferdige modeller installeres med apt, og kameraprogrammet kan deretter tegne rammer rundt objektene direkte i bildet:
# Installer fastvare og ferdige modeller for AI Camera (IMX500)
sudo apt update && sudo apt full-upgrade
sudo apt install imx500-all
# Objektdeteksjon med en ferdig MobileNet SSD-modell
rpicam-hello -t 0s \
--post-process-file /usr/share/rpi-camera-assets/imx500_mobilenet_ssd.json \
--viewfinder-width 1920 --viewfinder-height 1080 --framerate 30
Første gang modellen lastes over til kameraet, kan det ta litt tid. Kommandoen viser bildet på en tilkoblet skjerm; skal kameraet stå uten skjerm, bruker du heller Picamera2-eksemplene og skriver resultatet til en logg. Kontroller filstiene mot gjeldende dokumentasjon, siden de kan endres mellom utgaver.
Prosjekt: tell deler i en bakke
- Avgrens scenen: Bruk en matt bakgrunn, fast kamera og jevnt lys. Start med én deltype og lite overlapp.
- Samle et representativt testsett: Ta bilder med normale variasjoner i rotasjon, antall og plassering. Hold et testsett utenfor treningen.
- Kjør en referansemodell: Bruk en ferdig, dokumentert modell når klassene passer, eller en liten egen modell med kjent lisens og sporbare treningsdata. Merk at populære YOLO-modeller fra Ultralytics er AGPL-lisensiert, noe som har betydning hvis løsningen skal selges eller leveres til andre.
- Definer telling: Filtrer score, fjern doble rammer og bestem om samme del kan telles i flere bilder. En linje som delen krysser, eller en stabil sone, er ofte bedre enn å summere per bilde.
- Mål feil: Tell falske positive, falske negative og feil ved overlapp. Skill modellfeil fra dårlig bilde.
- Lagre minst mulig: Dersom antall og tidspunkt er nok, trenger du ikke arkivere kontinuerlig video.
Raspberry Pis offisielle Picamera2-eksempler inneholder klassifisering, deteksjon, segmentering og pose for støttet maskinvare. Bruk dem som en etterprøvbar referanse før du legger til database, nettgrensesnitt og aktuator.
Kamera og kort må være kompatible
Kontaktformat og sensorbrikke er bare starten. Kontroller kabelretning, CSI-kontakt, driver, device tree, JetPack- eller Raspberry Pi OS-versjon og støttet kamerastakk. Raspberry Pi 5 og flere Jetson Orin-bærekort har smale 22-pinners CSI-kontakter, mens mange kameraer leveres med kabel for den bredere 15-pinners kontakten. Riktig overgangskabel løser det, men må bestilles sammen med kameraet. Et kamera for én bærekortrevisjon er heller ikke automatisk kompatibelt med en annen.
MRSMART har blant annet et ESP32-S3-kort med kamera og mikrofon for mindre prototyper og et ArduCam IMX219-vidvinkelkamera for Jetson. ESP32-S3 egner seg til en avgrenset, liten oppgave nær sensoren; Jetson-kameraet hører hjemme i et Linux- og JetPack-oppsett. Sammenlign ikke bare megapiksler: synsfelt, fokus, lysfølsomhet og programvarestøtte bestemmer om bildet er brukbart.
Når du skalerer til Jetson
Flytt ikke hele prosjektet på én gang. Behold samme kameraplassering og testsett, og mål først inferens på den nye plattformen. Deretter kan du øke oppløsning, bildefrekvens eller antall strømmer, én variabel om gangen. Ellers vet du ikke om forbedringen skyldes GPU-en, et annet bilde eller en endret modell. Verktøyet tegrastats viser last, minne og temperatur på Jetson mens testen kjører.
En kompakt Jetson Orin Nano-maskin med 4 GB og SSD kan være et utviklingsnivå, mens en 8 GB-variant med NVMe gir mer rom for større kjeder. Minnekapasiteten alene avgjør ikke hvor mange kameraer eller hvilken modell som fungerer: bufferstørrelse, bildeformat, TensorRT-motor, samtidighet og andre tjenester bruker også minne. Merk også at Jetson Orin Nano mangler maskinvarekoder for video. Skal systemet lagre eller strømme video, komprimeres den på prosessoren, og det må regnes inn i budsjettet.
Personvern og sikker handling
Et lokalt system kan redusere behovet for å sende bilder til en skytjeneste, men lokal behandling er ikke automatisk personvern. Kameraets plassering, opptaksvinkel, lagring, tilgang, logger og backup må vurderes. Unngå ansiktsgjenkjenning når oppgaven kan løses ved å telle nøytrale objekter eller lese en maskinindikator.
La ikke modellens resultat være eneste sikkerhetsbarriere. En robot eller sorteringsmekanisme trenger vanlige endestopp, tidsgrenser, nødstopplogikk og en definert reaksjon på manglende bilde. Kjør de første testene uten aktuator, og bruk logg eller indikator til feilratene er forstått.
Open source-verktøy for neste steg
- Picamera2 examples er førstevalget for støttede Raspberry Pi-kamerakjeder.
- MediaPipe samples viser ferdige mønstre for blant annet objektdeteksjon.
- Hailo Apps har eksempelkjeder for støttet Hailo-maskinvare.
- Jetson AI Lab samler eksempler på maskinsyn, multimodale og generative modeller for Jetson.
Lås versjonene, les lisensen til kode og modell, og kjør et kjent eksempel før du kombinerer flere rammeverk. Vår grunnartikkel hva er kunstig intelligens? forklarer trening, inferens, TinyML og maskinvarenivåene rundt dette prosjektet.
Kilder og videre lesing
IMX500-arkitekturen og eksemplene er kontrollert mot Raspberry Pis offisielle AI Camera-dokumentasjon. Jetson-kravene er kontrollert mot NVIDIAs oversikt over støttet maskinvare og Jetson Orin Nano-guiden.
Oppsummering
Et godt AI-kamera begynner med en liten, testbar oppgave og et stabilt bilde. Raspberry Pi gjør det enkelt å bygge hele systemet rundt kamera og GPIO. AI Camera eller NPU kan akselerere støttede modeller, mens Jetson gir mer kapasitet og et bredt økosystem for edge AI. Mål med virkelige data, behold en «ukjent»-tilstand, og la vanlig programlogikk og fysiske sikkerhetsfunksjoner kontrollere handlingen.
