Megnyitotta robotkizárás-feldolgozója forráskódját a Google

2019-07-03 08:00, prog.hu - Informatika

A Google a hét elején, webmesterekhez szóló blogjában jelentette be, hogy megnyitotta az általa az ún. Robots Exclusion Protocol (REP) állományok feldolgozására használt C++ könyvtára kódját. A könyvtár a hétköznapi nyelvben csak robots.txt-ként emlegetett - illetve a webszervereken valóban ez a név alatt elérhető - fájlok, illetve az azokban foglalt szabályok értelmezését teszik egyszerűbbé a webes crawlerek és feldolgozók számára.

Tovább »