فایل Robots.txt و کاربرد آن در سئو

زمان مطالعه: 4 دقیقه

تعداد بازدید: 283

سئو و بهینه سازی سایت

فایل Robots.txt و کاربرد آن در سئو

نویسنده: jafarzadeh
2020-06-08 17:03:11

فایل Robots.txt چیست و چه اهمیتی در سئو سایت دارد؟ چگونه می توانیم Robots.txt بسازیم؟ امروزه بسیاری از مردم برای خریداری و دریافت محصولات و خدمات مورد نیاز خود به اینترنت روی آورده اند همین امر سبب شده است تا رقابت میان وب مستران و صاحبان کسب و کارهای آنلاین و اینترنتی افزایش یابد تا بتوانند جز نتایج اولیه صفحه نتایج جستجو قرار بگیرند و کاربران بیشتری به وب سایت آن ها سر بزند به عبارت دیگری ترافیک بیشتری را به سمت خود جذب کنند. برای رسیدن به این هدف لازم است وب سایتشان را برای موتورهای جستجو بهینه کنند. اما سوالی که مطرح می شود اینست که چگونه را به موتورهای جستجو معرفی کنیم ؟ همانطور که می دانید سئو (Search engine optimization) شامل فرایندهایی نظیر سئو تکنیکال و سئو محتوا است که به کمک آن می توانیم جز نتایج اولیه جستجو قرار بگیریم. با ما همراه باشید تا یکی از مهمترین نکات در سئو فنی یعنی فایل Robots.txt و روش ساخت آن را برایتان توضیح دهیم. اما قبل از آن لازم است شما به صورت مختصر با سئو فنی آشنا کنیم. در صورت نیاز به مشاوره رایگان با متخصصین تیکو در تماس باشید.

تماس با مخصصین تیکو

سئو فنی یا سئو تکنیکال چیست؟

همانطور که در ابتدا به آن اشاره کردیم وب مستران به دنبال راهی برای جذب ترافیک بیشتر و موفقیت در رقابت با رقبا خود هستند. یکی از بهترین راه ها برای بازاریابی اینترنتی استفاده از موتورهای جستجو می باشد شما به وسیله ی بهینه سازی وب سایت خود برای این موتورها می توانید جایگاه بهتری را در صفحه نتایج به دست آورید. این بهینه سازی نه تنها در محتوا بلکه باید در ساختار وب سایت نیز اعمال شود. سئو فنی شامل اقداماتی می شود که به بهبود زیر ساخت های سایت و شناساندن آن به موتورهای جستجو کمک می کند. از مهمترین فاکتورهای سئو فنی می توان به موارد زیر اشاره نمود:

  • ایجاد نقشه سایت
  • فایل Robots.txt
  • استفاده از Bread Crump
  • سرعت سایت
  • Responsive

برای کسب اطلاعات بیشتر درباره سئو فنی به مقاله "سئو تکنیکال و اهمیت آن" مراجعه نمایید.

فایل Robots.txt چیست؟

آیا می دانید Robots.txt چه نقشی در سئو سایت دارد و به چه منظور از آن استفاده می شود؟ ربات های موتورهای جستجو نقش بسیار مهمی در ایندکس کردن و یافتن صفحات وب سایت ها می باشد. Crawler یا به عبارت دیگر ربات های موتور جستجوگر با خزیدن صفحات، اطلاعات مربوط به آن را کشف می کند و به موتورهای جستجو ارسال و معرفی می کند. شاید برایتان سوال شود که این خزنده ها چه زمانی سایتتان را بررسی می کند؟ باید گفت که هر وقت شما مطلبی را در وب سایت خود منتشر کرده و بیان دیگر آن را بروزرسانی کنید این ربات ها بیشتر به سایت شما سر می زنند. اگر می خواهید که این ربات ها برخی از صفحاتی که محتوای مناسبی ندارد یا پنل مدیریتتان را ایندکس نکرده و در اختیار مردم قرار ندهد، باید از فایل Robots.txt استفاده نمایید. آیا تا به حال نام این فایل به گوشتان خورده است یا با یا می دانید هدف از استفاده از آن چیست و چگونه می توانید ؟

robots exclusion standard به معنای استاندارد محرومیت ربات ها می باشد که به صورت فایل متنی با فرمت txt. می باشد. به کمک این فایل می توانید چگونگی ایندکس کردن و خزیدن ربات های موتورهای جستجو را تعیین و یا محدود نمایید پس می توان گفت که این فایل نقش مهمی در کنترل رفتار Crawler ها دارد به آن ها بگویید که چه قسمت هایی از وب سایت شما را باید ایندکس و بررسی کند. البته لازم به ذکر است که همه ربات ها از دستورات Robots.txt پیروی نمی کنند. به عنوان مثال ربات های Email Harvesters و Spambots Malware و ربات های امنیتی ممکن است فعالیت خود را از صفحاتی محدود شده آغاز کنند و توجه ای به دستورات این فایل متنی نداشته باشند.

فایل Robots.txt

معرفی دستورات فایل Robots.txt و کاربرد آن ها

همانطور که بارها و بارها در این مقاله به آن اشاره کردیم این فایل سبب محدودیت ربات ها برای ایندکس کردن صفحات وب است و که در واقع از دو دستور کلی را دنبال می کند که البته برای ربات های گوگل یک دستور دیگر اضافه می گردد. با استفاده از این دستورات می توانید رفتار ربات های موتورهای جستجوگر را کنترل کرده و آن ها را مقید کنید که قوانینی را که وضع کرده اید را رعایت کنند. اما این قوانین شامل چه مواردی می باشد؟

  • User-agent: شاید بپرسید چگونه می توانیم ربات های موتورهای جستجو را هدف قرار دهیم؟ دستور User-agent به منظور هدف قرار دادن ربات مورد نظر استفاده می شود. این دستور به دو صورت به کار می رود: 1) اگر قصد دارید که همه ی ربات ها مخاطب خود قرار دهید، کافیست بعد از این عبارت از علامت * استفاده گردد. این دستور در فایل Robots.txt برای همه ی ربات ها صدق می کند. 2) اما اگر می خواهید تنها به ربات خاصی همچون گوگل دستور دهید می توانید دستوری که باید در این فایل اعمال شود باید به صورت زیر باشد:

User-agent: Googlebot

  • Disallow: برخی از وب مستران لازم می دانند که صفحاتی را از دید عموم خارج و دسترسی آن را برای ربات های موتورهای جستجو مسدود کنند در نتیجه با استفاده از دستور Disallow می توانند امکان بررسی و دسترسی به فولدر ها و صفحاتی مدنظر خود را محدود نمایند. در واقع این دستور به منظور پنهان کردن صفحات خاص از دید ربات ها می باشد. تصور کنید می خواهید دستیابی ربات ها را به تصاویر وب سایت خود را محدود کنید. اگر این تصاویر را درون فولدری تحت عنوان Photos انتقال داده اید به منظور جلوگیری از دسترسی ربات های موتور جستجو باید از دستور زیر استفاده کنید:

* :User-agent
Disallow: /photos

پس به راحتی و با وارد کردن این دستور فولدر ها و صفحاتی را که می خواهید از دید ربات ها دور باشد را مشخص نمایید. همانطور که می بینید این کد دستوری از دو بخش تشکیل شده است. * :User-agent به معنای خطاب قرار دادن همه ی ربات ها بوده و Disallow: /photos بیانگر عدم اجازه دسترسی به فولدر مورد نظر می باشد.

  • Allow: آیا می دانید دستور allow چیست؟ یکی از معروف ترین ربات های گوگل، Googlebot می باشد که به نسبت دیگر ربات های گوگل از دستورات بیشتری پیروی می کند. این ربات از دستوراتی همچون User-agent و Disallow و Allow تبعیت می کند. قانون allow به ربات ها این امکان را می دهد که فایل هایی مدنظر خود را که در فولدر Disallow قرار دارد را بررسی نمایند. برای آن که بتوانید این دستور را اعمال کنید لازم است نام آن فایل را بعد از فولدر Disallow شده بیاورید. به عنوان مثال شما در فولدر تصاویر فایلی به نام ads.jpg است که قصد دارید این ربات ها به آن ایندکس کند، به همین منظور از دستور زیر استفاده می گردد:

* :User-agent
Disallow: /photos
Allow: /photos/ads.jpg

چگونه می توانیم فایل Robots.txt را بسازیم؟

همانطور که گفتیم برای آن که ربات های موتورهای جستجو را در ایندکس و بررسی برخی از صفحات وب سایت محدود کنید باید از دو دستور کلی User-agent و Disallow و ترکیب آن ها استفاده کرد. به این صورت که با آوردن نام ربات در ادامه User-agent و یا بدون ذکر نام ربات ها ایندکس صفحات را برای آن ها محدود نمایید. به منظور جلوگیری از دسترسی ربات ها به همه محتویات یا قسمتی خاص کاراکتر / را بکار ببرید و همچنین برای محدود سازی فولدر یا صفحه بعد این کارکتر نام آن را وارد کنید. یکی دیگر از قابلیت های دستورات اینست که می توانید با آوردن آدرس دقیق صفحه بدون نام سایت برای آن محدودیت ایجاد کنید. شاید در نگاه اول اعمال این قوانین و دستورات بسیار ساده باید اما تاثیر بسزایی در سئوی وب سایت شما خواهد داشت. لازم به ذکر است که فایل ربات تکست نسبت به حروف بزرگ یا کوچک دستورات حساسیت نشان می دهد و نیز آدرس صفحات باید به دقت در آن وارد شود.

کلام آخر: امیدوار هستیم که از این مقاله نهایت استفاده را برده باشید و جدای از آن که از چه CMS هایی استفاده می کنید بتوانید به سادگی برای آن فایل Robots.txt بسازید. اگر شما هم تجربه ای در این زمینه دارید آن را با ما به اشتراک بگذارید.

نظرات کاربران

نظرات کاربران راجع به این مقاله

دیدگاهتان را بنویسید

نظر خود را راجع به این مقاله با ما در میان بگذارید

برای مشاوره رایگان با ما تماس بگیرید

همین حالا مکالمه را شروع کن