Google ઇન્ડેક્સમાંથી સાઇટ અથવા તેના ટુકડાઓ કેવી રીતે કાઢી નાખવું

Google દ્વારા અપનાવવામાં અનુક્રમણિકાના ખ્યાલ મુજબ, પરિણામોને અદા કરતી વખતે એકાઉન્ટની પૂર્ણતા, માહિતીની નિષ્ક્રિયતા અને તેની શોધ ક્વેરી સાથેનું પાલન લેવામાં આવે છે. જો ગેરકાયદેસર સામગ્રી ધરાવતી કોઈ સાઇટ ઇન્ડેક્સમાં પ્રવેશ કરે, અથવા સ્ત્રોત સ્પામ માટે છે, તો તે સાઇટનાં પૃષ્ઠો સર્ચ એન્જિનના સામાન્ય ડેટાબેઝમાં ચિહ્નિત થશે નહીં. અમે શોધ પરિણામો દ્વારા સર્વરમાંથી સાઇટને કેવી રીતે દૂર કરવી તે પણ શીખવાની જરૂર છે.

Google માટે ઝીરો અનુક્રમણિકરણ વિકલ્પો

એકવાર ક્રાઉલર - નવા સંસાધનો વિશે માહિતી એકઠાં કરવા માટેનું પ્રોગ્રામ - પૃષ્ઠ દ્વારા સાઇટનું પૃષ્ઠ સ્કેન કરશે, તે પછી, જો તે Google ની પદચ્છેદન સંબંધિત નીતિની આવશ્યકતાઓને પૂર્ણ કરશે, તો તેને અનુક્રમિત કરવામાં આવશે. પરંતુ અમે તે પણ વર્ણન કરીશું કે robots.txt - એક નિર્દેશક અને તે જ સમયે શોધ ટર્મિનેટરનો ઉપયોગ કરીને સર્ચ એન્જિન માટે તમારી સાઇટ અથવા વ્યક્તિગત ટુકડાઓ કેવી રીતે કાઢી નાખવા.

ફાળવણીમાંથી સમગ્ર સ્રોતને બાકાત કરવા માટે, સર્વરનાં રુટ ફોલ્ડર પર ચોક્કસ ટેક્સ્ટ ઝોન બનાવવામાં આવે છે કે જેના પર સાઇટ સ્થિત છે - ઉપર ઉલ્લેખિત robots.txt. આ ઝોન સર્ચ એન્જીન દ્વારા પ્રક્રિયા કરવામાં આવે છે અને સૂચના પ્રમાણે વાંચે છે.

ધ્યાનમાં રાખો કે Google શોધ એન્જિન પૃષ્ઠને અનુક્રમ કરશે, પછી ભલે તે વપરાશકર્તાને જોવાની મંજૂરી ન હોય. જ્યારે બ્રાઉઝર 401 અથવા 403 નો પ્રતિભાવ આપે છે, "ઍક્સેસ માન્ય નથી," તે ફક્ત મુલાકાતીઓને જ લાગુ પડે છે, આ શોધ સર્વર માટે સંગ્રહ કાર્યક્રમો માટે નહીં .

શોધ સૂચિબદ્ધમાંથી સાઇટને કેવી રીતે કાઢી નાખવું તે સમજવા માટે , તમારે ટેક્સ્ટ પોઇન્ટરમાં નીચેની પંક્તિઓ દાખલ કરવી જોઈએ:

વપરાશકર્તા એજન્ટ: Googlebot

નામંજૂર કરો: /

આ શોધ રોબોટને સૂચવે છે કે તે સાઇટની સમગ્ર સામગ્રીની અનુક્રમણિકા પર પ્રતિબંધિત છે. એક Google સાઇટ કેવી રીતે કાઢી નાખવી તે અહીં છે જેથી સાઇટ શોધાયેલ સાઇટ્સની સૂચિમાં સ્ત્રોતને કેશ કરે નહીં.

વિવિધ પ્રોટોકોલ્સ માટે સ્કેન વિકલ્પો

જો તમને વ્યક્તિગત સંચાર માપદંડોની સૂચિ કરવાની જરૂર હોય, જેના માટે તમે Google ને અનુક્રમિત કરવા માટે ચોક્કસ નિયમો લાગુ કરવા માંગો છો, ઉદાહરણ તરીકે, http / https હાયપરટેક્સ્ટ પ્રોટોકોલ્સ માટે અલગથી , આ નીચેની રીતે (ઉદાહરણ તરીકે) robots.txt માં પણ લખવામાં આવવી જોઈએ.

(HTTP://yourserver.com/robots.txt) - તમારી સાઇટનું ડોમેન નામ (કોઈપણ)

વપરાશકર્તા એજન્ટ: * - કોઈપણ શોધ એન્જિન માટે

મંજૂરી આપો: / - પૂર્ણ અનુક્રમણિકાને મંજૂરી આપો

HTTP પ્રોટોકોલ માટે સંપૂર્ણપણે ફાળવણીમાંથી સાઇટ કેવી રીતે દૂર કરવી

(HTTP://yourserver.com/robots.txt):

વપરાશકર્તા એજન્ટ: *

અનુમતિ: ઈન્ડેક્સીંગ પર / પૂર્ણ પ્રતિબંધ

Google ની Google શોધમાં સંસાધનના URL ના અજાણી દૂર

જો તમે ફરીથી ઇન્ડેક્સિંગની રાહ જોવી ન ઇચ્છતા હોવ અને સાઇટને શક્ય તેટલી જલ્દી છૂપાવવાની જરૂર હોય, તો હું સેવા http://services.google.com/urlconsole/controller નો ઉપયોગ કરવાની ભલામણ કરું છું. પૂર્વ-રોબોટ્સ. Txt પહેલેથી જ સાઇટ સર્વરની રૂટ ડાયરેક્ટરીમાં મૂકવામાં આવવું જોઈએ. સૂચનાઓ તેમાં લખાવી જોઈએ.

જો નિર્દેશક રુટ ડાયરેક્ટરીમાં સંપાદન માટે કોઈ કારણસર ઉપલબ્ધ નથી, તો તે ફોલ્ડરમાં ઑબ્જેક્ટ્સ સાથે બનાવવા માટે પૂરતું છે કે જેના માટે તમે શોધ એંજીન્સમાંથી છુપાવા માગો છો. એકવાર તમે આ કરો અને હાયપરટેક્સ્ટ સરનામાંઓ માટે આપમેળે કાઢી નાંખવાની સેવાનો સંપર્ક કરો, Google robots.txt માં જોડેલ ફોલ્ડર્સને સ્કેન કરશે નહીં.

આવા અદ્રશ્યની અવધિ 3 મહિના માટે નક્કી કરવામાં આવે છે. આ સમયગાળા પછી, ફાળવણીમાંથી દૂર કરવામાં આવેલી નિર્દેશિકા Google સર્વર દ્વારા ફરીથી પ્રક્રિયા કરવામાં આવશે.

ભાગમાં સ્કેનિંગ માટે સાઇટ કેવી રીતે કાઢી નાખવી

શોધ બૉટ robots.txt ની સામગ્રીઓ વાંચે છે, તે પછી તેના સમાવિષ્ટો પર આધારિત, અમુક નિર્ણયો લેવામાં આવે છે. દાખલા તરીકે, ડિસ્પ્લેથી એન્ટાટોમ નામની સમગ્ર ડાયરેક્ટ્રીને તમારે બાકાત રાખવાની જરૂર છે. આવું કરવા માટે, આ પ્રકારના સૂચનો લખવા માટે પૂરતી છે:

વપરાશકર્તા એજન્ટ: Googlebot

નામંજૂર કરો: / એનાટોમ

અથવા, ઉદાહરણ તરીકે, તમે .gif જેવી તમામ ચિત્રોને ઇન્ડેક્સ કરવા નથી માગતા. આ કરવા માટે, નીચેની સૂચિ ઉમેરો:

વપરાશકર્તા એજન્ટ: Googlebot

નામંજૂર કરો: /*.gif$

અહીં બીજું એક ઉદાહરણ છે. ચાલો પાર્સિંગથી ડાયનેમિકલી જનરેટેડ પૃષ્ઠો વિશેની માહિતીને કાઢી નાખો, પછી પોઇન્ટરમાં નીચેની એન્ટ્રી ઉમેરો:

વપરાશકર્તા એજન્ટ: Googlebot

નામંજૂર કરો: / *?

તેથી, આશરે, અને શોધ એન્જિન માટેનાં નિયમો નિર્ધારિત છે. બીજી બાબત એ છે કે આ બધા માટે મેટા ટેગનો ઉપયોગ કરવો તે વધુ અનુકૂળ છે. અને વેબમેસ્ટર્સ ઘણીવાર આવા ધોરણનો ઉપયોગ કરે છે જે સર્ચ એન્જિનોના સંચાલનનું નિયમન કરે છે. પરંતુ અમે આગામી લેખોમાં આ વિશે વાત કરીશું.