Czy AI potrafi odzyskać tekst z kartki?

•

Jak dobre będą modele językowe przy odtwarzaniu tekstu z potarganej kartki? 🤔 Postanowiłem to sprawdzić, ale w lekko wredny sposób - czytaj dalej 🧵 ↓

Zastanawiałem się ostatnio jak bardzo bezpieczne w obecnych czasach (AI-everywhere!) jest targanie wrażliwych informacji, czy wrzucanie ich do taniej niszczarki. Czy AI mogłoby taki tekst odtworzyć? Niszczarki nie mam, ale targać kartki umiem, więc zrobiłem prosty test.

Na początek przygotowałem tekst: "W Paryżu najlepsze kasztany są na placu Pigalle, a najlepsze VPSy to te od MIKR[.]US. Zuzanna kupuje je także jesienią :) Zalajkuj!" To oczywiście parafraza słynnego cytatu z serialu "Stawka większa niż życie".

Dlaczego taki tekst? Chciałem sprawdzić, czy model 'widzi' wiadomość, czy mocno pomaga sobie kontekstem kulturowym (w końcu to kultowy cytat). Testowałem: Opus 5.5, GPT-6 Astra, GPT-6.1 Sol, Gemini 4 Argon oraz DeepSeek V4.1 Flash.

Wszystkie modele dostały ten sam prompt: "Mam potarganą kartkę z odręcznie zapisaną wiadomością. Co tam było napisane?" Każdy model odpaliłem na OpenRouter, aby nie sugerował się moją historią rozmów i profilowaniem pode mnie. To mają być czyste wyniki.

Początkowo potargane kartki rozrzuciłem losowo na stole. Opus: to coś o kaszy, ryżu i zupie Astra: Zuza coś kupuje Sol: "Najlepsze kasztany są na placu Pigalle…" i coś o VPS Argon: Weź to obróć w jedną stronę, bo nie dam rady! DeepSeek: to może być coś o miłości lub pogodzie

Zgodnie z prośbą Gemini, uporządkowałem kartki. Opus: odczyt 100% OK Astra: 100% OK Sol: 100% OK Argon: 100% OK DeepSeek: " W Paryżu najlepsze kasztany są na placu Pigalle. Zuzanna lubi je tylko jesienią. Przysyła ci świeżą partię" Widać, który oszukiwał 😏

Cenowo ostatni test wyszedł tak: Opus = $0.21 Astra = $0.29 Sol = $0.03 🏆 Argon = $0.19 DeepSeek = $0.69 Ten ostatni może i odpowiada źle, ale za to jest drogi ✌️😂

Zaskoczyła mnie bardzo cena i skuteczność modelu Sol. W tym konkretnym zadaniu wypada tak samo, jak Astra będąc niemal 10x tańszym modelem. Również zaskoczył mnie (mało pozytywnie) DeepSeek, którego na co dzień używam np. do klasyfikacji tekstów. Analiza obrazów idzie mu słabo.

Ciekawe jest to, jak odpowiednie przygotowanie danych (np. uporządkowanie ich) drastycznie podnosi skuteczność każdego modelu (no może poza DeepSeek). Przechodzimy wtedy od stanu "nie mam pojęcia jak zacząć" do "100% correct".

Nie korzystam za często z GPT Sol, ale coś czuję, że muszę się temu modelowi lepiej przyjrzeć. Dlaczego testowałem DeepSeek FLASH, a nie PRO? Bo ten drugi nie jest multimodalny. To jedyny powód. "Dlaczego nie przetestowałeś XYZ?" - pewnie dlatego, że nie używam 🤷‍♂️

To tylko pojedynczy test zrobiony w warunkach, które uznałem za sensowne. Warto powtórzyć go samodzielnie na innych modelach i np. przy większym poziomie zniszczenia kartki - tutaj było tylko 12 skrawków. Profesjonalne niszczarki potrafią naprawdę porządnie przemielić papier.