Robots txt क्या है और website indexing के लिए क्यों जरूरी है

Search engine का इस्तेमाल आजकल सब लोग करते है। लेकिन क्या आपको पता है। इसमे robot txt क्या है? जाहिर है हम मे से कई लोगो को पता नही होगा कि robot.txt क्या है। यह क्या करता हैं? (Search engine optimization) SEO कराने मे यह कैसे सहायता करता है। इसी के चलते आज हम लोग आपके लिये Robots.txt कि हिन्दी मे जानकरी लेकर आये है। तो चलिये जानते है आखिर robots.txt क्या होता है?

Robots txt यानी robots exclusion protocol क्या होता है?  

what is robots.txt in seo in hindi

Robots.txt क्या है?

Robots.txt file एक standard तरीका है जो आपके search engine को यह बताता हैं। कि आपकी website पे क्या क्या crawl करना है और क्या नहीं। अब इसमे आपका search engine चाहे Google, yahoo, bing, Yandex या कोई भी हो। बस किसी मे थोडा extra Rules लगाने पड़ते है।

❯ Web Crawler क्या है?

❯ Web indexing क्या है?

अगर आपकी website indexed है। तो search engine नियमित तरीके के आपकी website को crawl करते हैं और indexing करते हैं। pages ढूंढने के लिये search engine link follow करते हैं। आपकी website पर एक page से दुसरे page पर आसानी से navigate करते हैं।

अगर आपकी वेबसाइट index नही हो पाई हैं। तो search engine आपकी website Robots .txt file को read करते है। और link follow करते हैं।

search console मे हम sitemaps submit करते हैं। सब search engine Sitemaps से जुड़ने के लिए एक standard रहता है। Robot txt यानी robots exclusion protocol  ही वह standard है।

जैसा कि आपको पता है Internet पर कितनी सारी websites हैं। अगर हमे website से कुछ जानकारी निकालनी है तो Google search करते ही है।

जानकारी निकालने के लिए Google के पास बहुत सारे Robots है और सब crawler के अलग-अलग काम रहते हैं।

Robots.txt यानी robots exclusion protocol क्यों जरूरी है?

आप अपने website मे कौनसा page दिखाना चाहते हैं और कौन सा नहीं।

देखिये,

जैसे की उधाहरण के तोर पर मान लीजिये आपका Admin page. अब आप भी नही चाहेंगे कि बिना कोई मतलब के search engine इसे crawl करे।

Robots exclusion protocol ही search engine के crawlers को यह बताता है। कि कौन सा page, document, file, photo, video crawl करना है और कौन सा नहीं।

अगर हमें web crawlers और web robots के बीच संपर्क कराना है। तो सभी website का standard होता है। जिसके तहत वह काम कर दी है। standard बताता है कि हमें कितने हिस्से में काम करना है। कितनी जानकारी हमेंं web robots को देनी है। 

हम Search engine में जो भी search करते हैं। robots उनका search संबंधित विभाजन करते हैं और उनके तहत काम करते हैं। 

robots exclusion protocol ही search engine के crawlers को यह बताता है। कि आप अपने page का कौन सा हिस्सा दिखाना चाहते हैं और कौन सा नहीं।

अगर हमें web crawlers और web robots के बीच संपर्क कराना है। तो robots exclusion protocol इस्तेमाल करते हैं।

❯ Sitemap क्या है?

❯ Search Engine Optimization क्या है?

robots exclusion protocol इस्तेमाल कैसे करते हैं?

Robots.txt के नाम से ही पता चलता है की यहां text file है। यह crawler को यह बताता है कि page के इन चीजों को index करना है और किन चीजों को नहीं।

और crawler आसानी से समझ जाएगा कि कितना हिस्सा index करना है।

Robots.txt file कैसे बनाये

यह आपकी website मे by default रह्ता हैं। अगर आप blogger.com पर हैं। यदि आप अपना robot txt file check करना चाहते हैं। तो सबसे पहले आप अपने domain name url के साथ /robots.txt लगाये।

https://yourwebsitename.com/robots.txt

अगर आपने अभी तक कोई domain name नही लिया है तो आप इस प्रकार भी type कर सकते हैं।

https://yourwebsitename.blogspot.com/robots.txt

अगर आपकी website wordpress पर है तो आप अपना url इस प्रकार check कर सकते हो।

https://yourwebsitename.com/robots.txt

❯ How to optimize blog SEO?

❯ Google Algorithm updates क्या है?

Custom Robots.txt file कैसे बनाये

अगर आपको Robots.txt file manually बनाना हैं। तो आप notepad कि मदद से भी बना सकते हैं।

Robots.txt file को कैसे edit करें ?

1. User agent: media partners  क्या है?
   • यह आपका Google AdSense है अगर इसको Disallow कर दिया। तो आप अपने blog कभी भी AdSense नहीं दिखा पाएंगे। ध्यान रहे अगर आप blog पर AdSense लगाना चाहते हैं तो इसे allow ही रखें ।
2. User-agent: *
   • इसमे user agent bot हैं जिसे आप allowed करने वाले हैं।
   • asterisk (*) का मतलब कोई भी या सभी bot होता हैं। जो आपकी वेबसाइट को crawl करनेवाला हैं।
3. Disallow: /wp-admin/
   • अब bot आपके admin page को crawl नही करेगा।
4. Allow क्या काम करता है?
   • यह crawler bot को यह निर्देश दिया कि आप page में इतना हिस्सा दिखाना चाहते हैं।
5. Disallow इसके बिल्कुल विपरीत है।

Blogger मे custom Robots.txt file कहा मिलेगी।

• Blogger.com
  • Sign In
• Select your blog
  • Blogger dashboard.
    • Setting > Search Preference.
      • Custom Robot txt
        • enable it.
        • Paste the code
• अगर आप custom robot txt करना चाहते हो तो इसे enable करके ही रखें। अगर आप default रखना चाहते हो तो इसे off करके रखें।
• अब यहा पर आपको अपना code paste करना है। अगर आप type करना चाहते तो type भी कर सकते हैं।

Note: दिये गये website name को अपनी website name से बदल दीजिये।

❯ Google Search Console क्या है?

❯ How to start a blogging in 2023?

❯ How to optimize blog SEO?