Motoarele de căutare AI, precum căutarea din ChatGPT, Perplexity, Copilot și funcțiile AI ale Google, răspund din pagini pe care le pot accesa, citi și în care au încredere. Pe bitnoda.team asta a însemnat cinci schimbări concrete: conținut în HTML pre-randat, crawlere AI permise explicit, un singur graf de entități JSON-LD, un llms.txt generat din textele site-ului și date de modificare reale în sitemap. Niciuna nu garantează o citare; toate elimină motivele de a nu fi citat.
Începe cu ce pot citi crawlerele AI
Multe crawlere AI nu rulează JavaScript. Dacă textul paginii apare abia după ce rulează aplicația în browser, pentru ele pagina e goală. De aceea toate paginile acestui site sunt pre-randate ca HTML; am scris despre asta în articolul despre pre-randarea unui site 3D.
Permite roboții potriviți și atenție la capcana din robots.txt
Roboții AI nu sunt toți la fel. OpenAI spune explicit că site-urile care blochează OAI-SearchBot nu apar în răspunsurile căutării din ChatGPT. Google precizează că Google-Extended nu influențează includerea în Căutare. Noi îi permitem pe toți, inclusiv pe cei de antrenare, pentru că site-ul nu are conținut privat.
Capcana: un crawler respectă doar grupul cel mai specific din robots.txt care îl numește. Dacă adaugi un grup separat „User-agent: GPTBot / Allow: /”, regulile Disallow din grupul * nu i se mai aplică. Pe bitnoda.team toți roboții numiți stau într-un singur grup, împreună cu *, cu aceleași reguli.
O singură entitate, descrisă la fel peste tot
Datele structurate JSON-LD formează un graf: organizația are un singur @id, fondatorul are nodul lui pe pagina Despre, fiecare pagină de serviciu își definește serviciul cu @id, iar paginile de piață și studiile de caz trimit la ele prin @id, fără să le redefinească. Țările deservite sunt legate de entitățile lor din Wikidata.
Mai există o problemă practică: un domeniu fără legătură, cu nume asemănător, are o reputație proastă online. Ca motoarele să nu amestece entitățile, organizația are alternateName: bitnoda.team și o descriere care leagă numele de domeniu, iar profilurile externe folosesc forma „Bitnoda (bitnoda.team)”.
Pagini care răspund, fiecare, la o întrebare
Paginile de serviciu și de piață încep cu o frază-definiție: cine, ce, pentru cine și unde. Titlul și H1-ul folosesc formularea cu care oamenii caută, de exemplu echipă de dezvoltare software în Moldova. Întrebările și răspunsurile sunt vizibile și stau în HTML, în elemente native details, nu încărcate ulterior din JavaScript.
llms.txt: ieftin, dar nu magic
Generăm /llms.txt și /llms-full.txt la fiecare build, din aceleași fișiere de conținut ca paginile, deci nu pot conține fapte diferite. Ghidul Google pentru funcțiile AI spune însă că Căutarea Google nu folosește astfel de fișiere. Le păstrăm pentru agenții și asistenții care le citesc, nu ca pe o scurtătură spre clasament.
Semnale de prospețime oneste
Google folosește data lastmod din sitemap doar dacă e constant și verificabil corectă. Pe bitnoda.team, fiecare URL primește data ultimului commit git care i-a schimbat șablonul sau textul, nu data build-ului. Nu umflăm datele fără schimbări reale.
Ce nu poate face un site singur
Pentru întrebări de tipul „cea mai bună firmă de dezvoltare software din Moldova”, motoarele se sprijină mai ales pe directoare și recenzii verificate, nu pe site-ul firmei. Partea asta se construiește în afara site-ului, cu profiluri coerente și recenzii reale. Progresul îl măsurăm lunar cu un set fix de întrebări, rulate de mai multe ori pe fiecare motor, pentru că răspunsurile AI variază de la o rulare la alta.
Surse
- OpenAI: crawlerele OpenAI (OAI-SearchBot, GPTBot, ChatGPT-User)(se deschide într-o filă nouă)
- Google: crawlerele comune, inclusiv Google-Extended(se deschide într-o filă nouă)
- Google: specificația robots.txt(se deschide într-o filă nouă)
- RFC 9309: Robots Exclusion Protocol(se deschide într-o filă nouă)
- Google: construirea unui sitemap (lastmod)(se deschide într-o filă nouă)
- Google: optimizarea pentru funcțiile AI generative(se deschide într-o filă nouă)
- llmstxt.org: propunerea llms.txt(se deschide într-o filă nouă)
- Vercel: The rise of the AI crawler(se deschide într-o filă nouă)