گوگل به لطف ظاهر بی نظیر وب تسلط دارد


اوکلند ، کالیفرنیا – در سال 2000 ، فقط دو سال پس از تاسیس ، گوگل به نقطه عطفی رسید که زمینه را برای سلطه خود در 20 سال آینده فراهم می کند: این موتور با شاخص بیش از یک میلیارد صفحه وب به بزرگترین موتور جستجوگر جهان تبدیل شد. .

بقیه اینترنت هرگز جا نیفتاد و شاخص گوگل به طور پیوسته در حال افزایش بود. طبق برآوردها ، امروزه این صفحات بین 500 تا 600 میلیارد صفحه وب هستند.

اکنون ، در حالی که نهادهای نظارتی در سراسر جهان در حال جستجو برای کاهش قدرت گوگل هستند ، از جمله پرونده انحصار جستجو توسط دادستان ها در این هفته و یک دادخواست ضد انحصاری توسط وزارت دادگستری در ماه اکتبر ، آنها با یک شرکت مبارزه می کنند. که اندازه بزرگ او باعث شد تا رقبا را خرد کند. و این رقبا محققان را به سمت یک شاخص عظیم ، مرکز ثقل شرکت سوق می دهند.

“اگر افراد از موتور جستجوی کم شاخص استفاده کنند ، همیشه نتایج مطلوبی نخواهند گرفت. و سپس آنها به گوگل می روند و در گوگل می مانند. ” پسر کوچکی مثل من نمی تواند رقابت کند.

درک اینکه چگونه جستجوی Google کار می کند ، کلیدی است برای درک اینکه چرا بسیاری از شرکت ها تقریباً رقابت را غیر ممکن می دانند و در واقع برای تأمین نیازهای آن تلاش می کنند.

هر جستجوی جستجو داده های بیشتری در اختیار Google قرار می دهد تا الگوریتم جستجو را هوشمندتر کند. گوگل بیش از هر موتور جستجوی دیگری جستجو کرده است که در درک آنچه کاربران به دنبال آن هستند ، برتری بزرگی نسبت به رقبا پیدا کرده است. این سهم همچنان ادامه دارد زیرا گوگل حدود 90 درصد سهم بازار را در اختیار دارد.

گوگل میلیاردها کاربر را به مکان هایی در اینترنت هدایت می کند و وب سایت های تشنه این ترافیک قوانین متفاوتی را برای شرکت ایجاد می کنند. وب سایت ها معمولاً دسترسی بیشتر و مکررتری را به اصطلاح ربات های وب گوگل – رایانه هایی که به طور خودکار در اینترنت جستجو می کنند و صفحات وب را اسکن می کنند – فراهم می کنند تا این شرکت بتواند نمایه گسترده تر و به روزتر موجود در اینترنت را ارائه دهد.

Zack Marrill ، مهندس نرم افزار ، هنگام کار در سایت موسیقی Bandcamp ، نگران است که چگونه تسلط گوگل آن را برای وب سایت ها بسیار مهم کرده است.

در سال 2018 ، هنگامی که گوگل گفت ربات آن ، Googlebot ، با یکی از صفحات Bandcamp مشکلی دارد ، آقای ماریل مشکل حل مشکل را در اولویت قرار داد ، زیرا Google برای بازدید سایت بسیار مهم است. وقتی روباتهای دیگر با مشکلی روبرو می شوند ، Bandcamp معمولاً آنها را مسدود می کند.

آقای ماریل در ادامه به بررسی روش های مختلفی می پردازد که وب سایت ها درهای خود را به روی Google باز می کنند و آنها را برای دیگران می بندند. سال گذشته ، او گزارش 20 صفحه ای “درک Google” را به کمیته فرعی مجلس ضد انحصار ارسال کرد و سپس با محققان دیدار کرد تا توضیح دهد که چرا دیگر شرکت ها نمی توانند شاخص Google را دوباره ایجاد کنند.

ماریل ، جوان 29 ساله ای که در یک شرکت فناوری دیگر کار می کند و به طور مستقیم با گوگل رقابت نمی کند ، گفت: “این منبع انحصاری انرژی تا حد زیادی آزمایش نشده است.” وی از نیویورک تایمز خواست که کارفرمای خود را شناسایی نکند زیرا او در مورد او صحبت نمی کند.

گزارشی در سال جاری توسط کمیته فرعی پارلمان به تحقیق آقای ماریل در مورد تلاش های گوگل برای ایجاد یک نقشه اینترنتی در زمان واقعی و چگونگی “به نتیجه رسیدن تسلط خود” استناد می کند. در حالی که وزارت دادگستری به دنبال توسعه معاملات تجاری گوگل است که موتور جستجوی آن را در مرکز میلیاردها تلفن هوشمند و رایانه قرار می دهد ، آقای ماریل از دولت خواست تا مداخله و تنظیم نمایه گوگل را تنظیم کند. سخنگوی گوگل از اظهار نظر در این باره خودداری کرد.

وب سایت ها و موتورهای جستجو همزیستی هستند. وب سایت ها برای ایجاد ترافیک به موتورهای جستجو متکی هستند ، در حالی که موتورهای جستجو برای ارائه نتایج مرتبط به کاربران نیاز به دسترسی به سایت های خزنده دارند. اما هر ربات منابع وب سایت را در هزینه های سرور و پهنای باند بار می کند و برخی از ربات های تهاجمی از خطرات امنیتی که یک سایت می تواند بارگیری کند تقلید می کنند.

از آنجا که خزیدن صفحات برای آنها هزینه دارد ، وب سایت ها انگیزه این کار را فقط از طریق موتورهای جستجو دارند که بازدید کافی را به سمت آنها هدایت می کند. در دنیای جستجوی امروز ، این باعث می شود Google و – در بعضی موارد – از Microsoft استفاده کند.

گوگل و مایکروسافت تنها موتورهای جستجو هستند که صدها میلیون دلار در سال برای نگهداری نقشه زمان واقعی اینترنت انگلیسی زبان هزینه می کنند. بر اساس گزارشی از سازمان رقابت و بازار انگلیس در تابستان امسال ، این علاوه بر میلیاردی است که آنها در طول سال ها برای ساخت شاخص های خود صرف کرده اند.

گوگل سهم قابل توجهی از مایکروسافت بیش از سهم بازار را در اختیار دارد. مقامات رقابت انگلیس گفتند که شاخص گوگل شامل 500 تا 600 میلیارد صفحه وب است ، در حالی که برای مایکروسافت 100 تا 200 میلیارد صفحه است.

سایر شرکت های بزرگ فناوری برای اهداف دیگر می خزند. فیس بوک یک ربات برای پیوندهایی دارد که در سایت یا خدمات آن نشان داده می شود. آمازون می گوید این ربات در بهبود دستیار صوتی الکسا به آن کمک می کند. اپل ربات اختصاصی خود به نام Applebot را دارد که به گمانه زنی ها مبنی بر اینکه می خواهد به دنبال ساخت موتور جستجوی خود باشد ، دامن می زند.

اما نمایه سازی همیشه چالشی برای شرکت های فاقد جیب عمیق بوده است.
بیش از یک دهه پیش موتور جستجوی متمرکز بر حریم خصوصی DuckDuckGo تصمیم گرفت که از خزیدن در کل وب جلوگیری کند و اکنون نتایج را از مایکروسافت تلفیق می کند. هنوز سایتهایی مانند ویکی پدیا را جستجو می کند تا نتایج مربوط به قسمتهای پاسخ را که در نتایج نشان داده می شود ، ارائه دهد ، اما حفظ شاخص خود معمولاً معنایی برای شرکت ندارد.

گابریل وینبرگ ، مدیر عامل DuckDuckGo گفت: “این هزینه بیشتر از توانایی مالی ما است.” سال گذشته این شرکت در بیانیه ای مکتوب به کمیته فرعی ضد انحصاری هاوس گفت که “یک موتور جستجوی جاه طلبانه امروز (و در آینده قابل پیش بینی) نمی تواند نیازی به تماس با مایکروسافت یا گوگل برای نتایج جستجوی خود داشته باشد.”

هنگامی که FindX در سال 2015 توسعه جایگزینی برای Google را آغاز کرد ، شرکت دانمارکی شروع به ایجاد شاخص خود کرد و الگوریتمی را برای ساختن خود ارائه داد تا نتایج سفارشی ارائه دهد.

FindX به سرعت با مشکلاتی روبرو شد. اپراتورهای اصلی وب سایت مانند Yelp و LinkedIn به موتور جستجوی جوان اجازه جستجوی سایت های خود را ندادند. به دلیل خطا در کد ، رایانه های FindX که اینترنت را خزنده می کنند به عنوان یک خطر امنیتی مشخص شده و توسط گروهی از ارائه دهندگان اصلی زیرساخت اینترنت مسدود می شوند. صفحاتی که آنها جمع آوری می کردند اغلب هرزنامه یا صفحات وب مخربی بودند.

برایان شیلد لورسن ، یکی از بنیانگذاران FindX ، که در سال 2018 متوقف شد ، گفت: “اگر مجبور شوید ایندکس کنید ، این سخت ترین کار است.”

سال گذشته ، آقای شیلدت لورسن موتور جستجوی جدیدی را به نام Givero راه اندازی کرد که به مشتریان امکان می دهد بخشی از درآمد شرکت را به اهداف خیرخواهانه اهدا کنند. وقتی Givero راه اندازی می شود ، نتایج جستجو از Microsoft را ترکیبی می کند.

اکثر وب سایت های بزرگ در مورد اینکه چه کسی می تواند صفحات خود را جستجو کند منطقی است. به طور کلی ، گوگل و مایکروسافت دسترسی بیشتری دارند زیرا کاربران بیشتری دارند ، در حالی که موتورهای جستجوی کوچکتر باید اجازه بگیرند.

مارک ال-هامس ، مدیر عامل شرکت Cliqz ، گفت: “شما برای متقاعد کردن وب سایت ها به شما اجازه می دهید تا به شما اجازه کپی و خزیدن را بدهند ، اما همچنین برای افزایش شاخص و افزایش بازدید خود به محتوا نیاز دارید.” ، یک موتور جستجوی آلمانی که امسال پس از هفت سال فعالیت بسته شد. “این یک مشکل از مرغ و تخم مرغ است.”

در اروپا ، گروهی به نام بنیاد جستجوی باز (Open Search Foundation) طرحی را برای ایجاد یک فهرست اینترنتی مشترک پیشنهاد کرده است که می تواند پایه بسیاری از موتورهای جستجوی اروپایی باشد. Stefan Voigt ، رئیس و بنیانگذار گروه گفت ، داشتن گزینه های مختلف نتایج جستجو بسیار ضروری است ، زیرا فقط برای تعداد معدودی از شرکت ها تعیین اینکه چه پیوندهایی به افراد نشان داده می شود و غیره خوب نیست.

آقای وویگت گفت: “ما فقط نمی توانیم این مسئله را به یك یا دو شركت بسپاریم.”

وقتی آقای ماریل شروع به تحقیق در مورد ارتباط سایت ها با ربات گوگل کرد ، 17 میلیون پرونده به اصطلاح robots.txt را بارگیری کرد – اساساً قوانین راهنمایی و رانندگی که تقریباً توسط هر وب سایت منتشر شده است و مشخص می کند که روبات ها کجا می توانند بروند – و بسیاری از آنها را پیدا کرد مثالهایی که Google بیشتر از رقبا دسترسی داشته است.

ScienceDirect ، یک سایت مقاله ای است که توسط همتا بررسی می شود ، فقط به خزنده Google اجازه دسترسی به پیوندهای حاوی اسناد PDF را می دهد. فقط رایانه های Google می توانند در PBS Kids به لیست ها دسترسی داشته باشند. در Alibaba.com ، سایت غول تجارت الکترونیکی چینی Alibaba در ایالات متحده ، فقط ربات گوگل به صفحاتی که محصولات را لیست می کنند دسترسی دارد.

در این سال ، آقای ماریل سازمانی ، باشگاه Knuckleheads (“زیرا فقط یک انگشت می تواند Google را تسخیر کند”) و وب سایتی را برای افزایش آگاهی از انحصار خزیدن وب در Google راه اندازی کرد.

آقای ماریل گفت: “گوگل تمام این قدرت را در جامعه دارد.” “اما من فکر می کنم باید کنترل دموکراتیک – کمی داشته باشد – این نیرو.”


منبع: rah-khabar.ir

Leave a reply

You may use these HTML tags and attributes: <a href="" title=""> <abbr title=""> <acronym title=""> <b> <blockquote cite=""> <cite> <code> <del datetime=""> <em> <i> <q cite=""> <s> <strike> <strong>