Dobrý den,

porovnávat, který AI chat je momentálně nejlepší, je těžké. Hodně to záleží na tom, jak pracujete. Také na vaší osobní preferenci. Říkám, že zeptat se, jestli je lepší ChatGPT, Gemini nebo Claude je jako zeptat se, jestli je lepší BMW, Audi nebo Mercedes. Záleží to na spoustě nových věcí. Třeba na tom, který z nástrojů má nejnověji vydaný model. A protože všechny tři tyto ohlásily nový „motor“, udělal jsem jednoduchý test na třech příkladech.

Long story short: Nechám si zatím všechny tři. Co ale běžní smrtelníci, kteří chtějí jen jeden?

Toto jsou výsledky:

🔎 Deep Research

Zkoušel jsem analýzu trendů v oboru:

Prompt: „What do experts think that could be the future monetization model for products like ChatGPT or Gemini? Go from the obvious ones (ads) to more crazy ones. Explore the public discourse“

• Gemini: Jasný vítěz 🎉. Skvělá analýza, spoustu aha momentů, vyvážený pohled z více stran, kvalitní zdroje.
•  ChatGPT: Meh. Hodně omáčky, spoustu věcí k tématu a zdrojů úplně minul. Špatné to nebylo, ale čekal bych mnohem víc.
• Claude: Zklamání. Odevzdal pár stránek plytkých obecných frází. K ničemu.

☑️ Faktická otázka

Už léta testuju jednoduchý prompt: „jaké pamětihodnosti navštívit v Rumburku?”

• Gemini: Správná odpověď, ale žádné zdroje. Tohle mě fakt štve.
• ChatGPT: Správná odpověď, doložil zdroje. Trochu do toho pletl angličtinu, ale jinak v pohodě. Vítěz 🎉
• Claude: Halucinoval! Některé pamětihodnosti si vymyslel. To se mi už nestalo fakt dlouho.

Očekávám, že na faktickou otázku vždy dostanu od AI zdroje. Nechci psát „vždy to najdi na internetu“ nebo to nějak jinak obcházet. Štve mě, když to model defaultně nedělá. U ChatGPT jako jediného z těchto tří můžete vynutit hledání zapnutím funkce „hledej“.

📊 Úprava Excelu

„Jsi Excel expert. Toto je tabulka zaměstnanců. Máš 3 úkoly: Smaž sloupec věk, označ všechny brigádníky (interns) žlutě a přidej sloupec annual salary“

• Gemini: Neuspěl. Stále používá knihovnu Pandas, která jen vytáhne data a vytvoří nový dokument. Úpravu dokumentu v Chatu neumí (na jeho obranu Gemini zabudovaný přímo v Google Tabulkách funguje dobře).
•  ChatGPT: Uspěl, ale trvalo mu to 4 minuty. Je tam vidět posun.
• Claude: Zvládl o něco lépe a hlavně o dost rychleji. S Excelem pracuje nejlépe 🎉

V tomto vítězí Claude, nicméně tohle není pro mě usecase, který by byl pro mě důležitý.

⚛️ Výpisky z vědeckého článku

Použil jsem svůj dlouhý prompt, který běžně používám.

Všechny tři nástroje uspěly podobně, jen Claude měl suverénně nejhorší češtinu. Používá slova jako „counterintuitivní“ nebo „prononcovanější“. Bože 🤦‍♂️

Pár věcí k tomuto testu:

• Je to nereprezentativní mikrotest několika funkcí.
• Nesnažil jsem se nějak pilovat prompty nebo nastavení. Chci vidět, jak se modely standardně chovají i k běžnému uživateli, což je většpna mých klientů.
• Perplexity a Copilot jsem z časových důvodů nezařadil.

Výsledek:

• ChatGPT mě vlastně potěšil.
• Gemini dostál vysokým očekáváním.
• Claude v tomto testu spíše zklamal. Sorry jako.

Další kroky:

• ChatGPT zůstane jednička. Mimo jiné má za mě nejlepší uživatelské rozhraní:
• Gemini budu zaměstnávat hlavně na deep research. U Gemini mi chybí projekty, možnost sdílení webových aplikací nebo možnost smazat konverzaci (toto platí jen pro Google Workspace, čili pracovní a školní účty. Pokud používáte Gemini normálně přes Gmail, konverzace smazat jdou.)
• Claude občas zkusím na nějaký ten vibe coding nebo pro porovnání.

Co vy, jakou máte zkušenost vy?

Dodatek: Dobrá myšlenka čtenáře newsletteru

Dostal jsem na článek docela trefnou reakci:

Dobrý den,

u porovnání by bylo asi dobré psát i verzi modelu, mi třeba Claude s Opus 4.5 napsalo toto

Dobrý point! 🎯

Donutilo mě to přemýšlet. Odpověděl jsem takto:

Dobrý den,

máte pravdu.

Použil jsem Sonnet 4.5, čili méně chytrý model.

Možná jsem měl upřesnit co byl smysl testu. Testoval jsem, jestli modely dostojí mému očekávání. A moje očekávání je, že i lehčí model typu Sonnet, bez thinkingu nebo customizace a speciálního promptu dá správnou odpověď.  Což se v tomto případě nepotvrdilo.

Určitě bych si uměl (a měl) vyladit Claude, aby se snížila pravděpodobnost halucinace.

Ale měl bych? Když máte nové auto, také se nechcete hned hrabat v motoru, aby fungovalo správně.

Navíc pokud by řešením bylo na vše použít Opus, k čemu je tedy Sonnet?

berte to jako body do diskuse spíš než nějaký pevný soud. Snažím se budovat a aktualizovat svůj pohled na AI každý den.

P.S. Je fajn, aby toto věděli i ostatní, čili přihodím naší diskusi anonymně i pod článek.

díky ještě jednou.