Bildegjenkjenning gjort enkelt. Slik gjenkjenner du en bestemt gjenstand ved hjelp av et kamera.

• Utfordringen
• Litt teori
• Hvor starter jeg?
• La oss kjøre bildegjenkjenning
• Bonus: Video

Utfordringen

Denne uken har jeg fått utfordringen å foreslå en løsning på følgende problem:

“Med en enkel datamaskin, som en Raspberry Pi, et kamera og et fuglebrett, lag et program som kan artsbestemme hvilke fugler som er innom brettet og spiser i løpet av en dag.”

Siden spørsmålet var av mer teoretisk art, bestemte jeg meg for å begrense dette innlegget til å introdusere byggeblokkene og gi en forklaring på hvordan du typisk kan bygge et slikt system.

Å gjenkjenne gjenstander er en ganske vanlig oppgave nå for tiden, og den har blitt løst på flere forskjellige måter, og med forskjellige tilnærminger. La oss se på hvordan dette virker.

TL;DR Det fins noen tradisjonelle måter å lage bilde- og gjenstandsgjenkjenning på, som i OpenCV, og det fins noen teknikker basert på Deep Learning, som i TensorFlow. Vil du vite mer? Fortsett å lese.

Litt teori

De mer tradisjonelle prinsippene bak OpenCV for å oppdage er godt beskrevet i dette blogginnlegget, så vel som i denne veiledningen for å gjenkjenne (hold dere fast!) katter på bilder.

Mens dette innlegget forklarer hvordan bildegjenkjenning virker i TensorFlow, som bruker en modell kalt dypt konvolverende nevrale nettverk, vil det også la deg trene opp din egen bildeklassifiserer, slik som OpenCV.

Hvor starter jeg?

I utgangspunktet har du to valg – du bør enten lære opp din egen modell eller finne en modell som har blitt lært opp av noen andre, og du vil kanskje alltid starte med å se etter en forhåndsopplært modell. Men jo mer spesifiserte bildeklassifiseringskravene dine er, jo høyere er sjansen for at du må lære opp din egen modell. Dette vil være det samme enten du velger OpenCV eller TensorFlow.

Siden vi vil kjøre modellen på en relativt enkel datamaskin, kan du vurdere å gjøre prosesseringen i skyen. Det bør imidlertid også være mulig å kjøre OpenCV og TensorFlow på den nyeste Raspberry Pi.

La oss kjøre bildegjenkjenning

Nå vet du litt om teorien. La oss så ta en rask titt på hvordan vi kan lære opp modellene i våre behov.

TL;DR Måten dette virker på, er at du viser modellen ganske mange bilder av en gjenstand, og en tilsvarende mengde bilder uten gjenstanden på.

La oss si at du vil bruke modellen til å gjenkjenne fugler utenfor huset ditt i Norge. Et godt utgangspunkt vil da være å få en liste over de typiske artene som du mest sannsynlig ser i hagen din, og samle så mange bilder av hver art som mulig.

Her er hva du kan gjøre:

1. Start med å finne en liste over norske fugler på Wikipedia, eller Store Norske Leksikon.
2. Søk på nettet etter bilder av hver fugleart. Det kan være du vil automatisere dette arbeidet, og sørg for at du plukker ut bilder med de riktige opphavsrettstillatelsene.
3. Bruk disse bildene i opplæringen av din modell.
4. Sett opp din Raspberry Pi med et kamera og fuglebrett, og gjør deg klar til å identifisere fuglearter. Du bør optimalisere programvaren slik at bildeklassifiseringen ikke skjer hele tiden, men kun når man ser en bevegelse.

Pro tip: Det kan også være litt utfordrende å ta gode bilder av våre fjærkledde venner, så sørg for at kameraet ditt er godt plassert, og materen er på et godt opplyst sted. Uten å forstyrre dyrelivet, så klart.

Lurer du på om lignende systemer har blitt implementert eller om det er mulig? Svaret er ja. Her er det noen lenker til inspirasjon for videre lesning:

• En fugleklassifiserer med tensorflow
• Trene opp en fugleklassifiserer med Tensorflow og TFLearn
• Kjøretøyklassifisering og -telling med OpenCV
• Blomstergjenkjenning i naturen (på dansk)
• Maskinlæring er morsomt! Del 3: Dypt konvolverende nevrale nettverk. (Ta også gjerne en titt på de andre delene i denne artikkelserien.)

Prøv nå å sette alt dette sammen, og fortell meg gjerne hvordan det går!

Lykke til!

Bonus: Video

En video vi har laget av mine tegninger og en kort forklaring på hvordan dette virker.

Image recognition made simple. How to recognise a specific object from a camera feed?

• The Challenge
• A Tiny Bit of Theory
• Where to Start?
• Doing Image Recognition

The Challenge

This week I have been given the challenge to suggest a solution to the following problem:

“Given a simple computer, like a Raspberry Pi, a camera and a bird feeder, create a system that can identify the birds feeding there throughout the day.”

Since the question was more of a theoretical kind, I decided to limit this post to introducing the building blocks and giving an explanation of how you would typically build a system like that.

Recognising objects is a pretty common task these days, and it has been solved in quite a few ways by different approaches. Let’s have a look at how this works.

TL;DR There are some traditional ways of doing image recognition and object detection, like in OpenCV, and there are some techniques based on Deep Learning object detection, like in TensorFlow. Want to know more? Keep on reading.

A Tiny Bit of Theory

The more traditional principles behind OpenCV are well described in this blog post, as well as in this tutorial for detecting (brace yourselves!) cats in images.

While this post explains how image recognition works in TensorFlow that is using a model called a deep convolutional neural network. Like OpenCV, it will also let you train your own image classifier.

Where to Start?

Basically, you have two choices – you should either train your own model, or find a model that has been trained by someone else, and you might always want to start by looking for a pre-trained model. However, the more specific your image classification requirements are, the higher are chances that you will need to train your own model. This will be the same whether you go for OpenCV or TensorFlow.

Since we want to run the model on a relatively low-end computer, you might consider doing the processing in the Cloud. However, it should also be possible to run OpenCV and TensorFlow on the latest Raspberry Pis.

Doing Image Recognition

By now, you should know a bit about the theory. So, let’s have a quick look into how we can train the models for our needs.

TL;DR The way this works, is that you feed the model with quite a few pictures of an object, and the similar amount of images without that object.

Say you want to use the model to recognize birds outside your house in Norway. A good starting point would be to get a list of the typical species you are most likely to see in your backyard and collect as many pictures of each type as possible.

Here is what you can do:

1. Start by looking at Wikipedia for a list of the Norwegian birds, or Norwegian Encyclopaedia (in Norwegian).
2. Search the web for the images of each bird type. You might want to automate that task and make sure you are picking images with the right copyright permissions.
3. Use those images to train your model.
4. Set up your Raspberry Pi with a camera and the bird feeder, and get ready to identify. You might want to optimise the software not to do the image classification all the time, but only when movement is detected.

Pro tip: It might also be a bit challenging to take a good picture of our feathered friends, so make sure your camera is well-placed, and the feeder is in a well-lit location. Obviously, without disturbing the wildlife.

In case you wonder if similar systems have been implemented, or if it is even possible. The answer is yes. I will provide you with some links to inspire for further reading:

• A Bird Classifier with Tensorflow
• Training a Bird Classifier with Tensorflow and TFLearn
• Vehicle classification and Counting with OpenCV
• Wild Flower Detection (in Danish)
• Machine Learning is Fun! Part 3: Deep Learning and Convolutional Neural Networks. (Also, check out the other parts of the article series.)

Now, try putting it all together, and let me know how it goes!

Good luck!