Microsoft uruchomił narzędzie do rozpoznawania obrazów, które próbuje opisać zawartość obrazu. To narzędzie sztucznej inteligencji jest wciąż na etapie opracowywania i stale uczy się na podstawie zdjęć przesłanych przez użytkowników.

Jeśli chodzi o dokładność, czasami opis jest dość dokładny, a czasem CaptionBot oferuje opisy, które nie mają nic wspólnego z tym, co jest przedstawione. Zdarzają się również przypadki, w których aplikacja nie może w ogóle podać opisu ze względu na swój przybliżony stan.

Microsoft zaprojektował CaptionBot, aby uczyć się z większym doświadczeniem, oczekując, że z czasem jego podpisy staną się dokładniejsze. Im więcej zdjęć przesyłają użytkownicy, tym lepsza staje się aplikacja, jak opisuje się CaptionBot:

Rozumiem treść każdego obrazu i postaram się go opisać tak samo, jak każdego człowieka. Wciąż się uczę, więc zatrzymam twoje zdjęcie, ale nie będę zawierał danych osobowych.

CaptionBot wykorzystuje trzy technologie do opisania tego, co jest przedstawione na zdjęciu: Wizja komputerowa Microsoft, Emocje i Obraz Bing. Interfejs API Computer Vision wyodrębnia bogate informacje z obrazów, aby kategoryzować i przetwarzać dane wizualne, a także identyfikować i wyodrębniać tekst z obrazu. Interfejs API Emotion, jak sama nazwa wskazuje, analizuje twarze w celu wykrycia szeregu uczuć, od gniewu, pogardy, odrazy, strachu, szczęścia, neutralności, smutku i zaskoczenia. Bing Image przeszukuje sieć w poszukiwaniu obrazów.

Przetestowaliśmy CaptionBot, a wyniki były dokładne w 50% przypadków. Na przykład przesłaliśmy dwa zdjęcia: jedno przedstawiające mysz do gier, drugie stos kart. W obu przypadkach narzędzie sugerowało, że jest to telefon komórkowy. Z drugiej strony CaptionBot dokładnie wykrył ludzi i twarze.

Najwyraźniej CaptionBot ma obsesję na punkcie telefonów komórkowych. Jeden z użytkowników Twittera poinformował, że aplikacja uważa Michelle Obama za telefon komórkowy. Więcej śmiesznych podpisów Sprawdź śmieszne strony na Twitterze.

Możesz także przetestować CaptionBot tutaj. Spróbuj: albo pomożecie ulepszyć narzędzie, albo będziecie się śmiać!