روش کار با دیپ وب
شاید یادگیری روش کار با دیپ وب، برای شما موضوعی دشوار و غیرممکن به نظر برسد. طبیعت غیرقابل دسترسی دیپ وب، ممکن است این تصور را در ذهن ایجاد کند که هکرها در حال انجام کارهای ناشایست هستند، اما این تصور درستی نیست.
واقعاً چه تار پیچیدهای برای خودمان بافتهایم. بر اساس آمارهای Internet World Stats، حدود 40 درصد از جمعیت جهان، از وب برای دسترسی به اخبار، سرگرمی، ارتباطات و اهداف بیشمار دیگر استفاده میکنند. بااینوجود، هرچه افراد بیشتری وارد اینترنت میشوند، کمتر از قبل به اطلاعات ذخیرهشده بهصورت آنلاین دسترسی پیدا میکنند. دلیلش هم این است که تنها بخش کوچکی از چیزی که ما بهعنوان شبکه جهانی وب میشناسیم، بهراحتی قابلدسترسی است. چیزی که اصطلاحاً سطح وب نامیده میشود و همه ما روزانه از آن استفاده میکنیم، از اطلاعاتی تشکیلشده است که موتورهای جستجو میتوانند پیدا کنند و در پاسخ به درخواست شما ارائه دهند. اما درست مانند کوه یخ که فقط نوک آن قابلمشاهده است، یک موتور جستجوی سنتی، فقط بخش کوچکی از اطلاعاتی که در دسترس هستند را مشاهده میکند، یعنی تقریباً 0.03 درصد از اطلاعات.
روش کار با دیپ وب را بهتر بشناسید
بقیه این اطلاعات کجا هستند؟ خب، بخش بزرگی از آنها در جایی به نام دیپ وب پنهانشدهاند. دیپ وب (که در میان مانیکرها با نام شبکه تحت وب، وب نامرئی و وب مخفی هم شناخته میشود) از اطلاعاتی تشکیل شده است که با یک جستجوی ساده در گوگل نمیتوانید آنها را پیدا کنید.
هیچکس واقعاً نمیداند که دیپ وب تا چه اندازه بزرگ است، اما این بخش از اینترنت صدها (یا شاید هم هزاران) برابر از سطح وب بزرگتر است. این اطلاعات لزوماً با هدف خاصی مخفی نشدهاند. فقط پیدا کردن و تشخیص آنها برای موتورهای جستجوی کنونی سخت است.
هنگام یادگیری روش کار با دیپ وب متوجه خواهید شد که یک جنبه دیگر از دیپ وب وجود دارد که بسیار تیرهتر و گاهی هم تاریکتر از سایر بخشهای آن است، به همین دلیل هم این بخش با نام دارک وب شناخته میشود. در دارک وب، کاربران بهصورت عمدی اطلاعات را پنهان میکنند. در اغلب مواقع، دسترسی به این بخش وب فقط در صورت داشتن نرمافزارهای مرورگر خاصی که به کنکاش در لایههای دارک وب، مانند کندن پوست لایهلایه پیاز، کمک میکنند، امکانپذیر است.
این نرمافزار، هم حریم خصوصی منبع و مقصد اطلاعات و هم افرادی که به آن دسترسی پیدا میکنند را حفظ میکند. برای مخالفان سیاسی و جنایتکاران، ویژگی امکان استفاده از دارک وب با هویت مخفی، نشاندهنده قدرت عظیم دارک وب در زمینه انتقال اطلاعات، کالاها و خدمات، بهصورت قانونی یا غیرقانونی، بهمنظور آزار دادن قدرتهای سراسر جهان است.
ما درست مانند یک موتور جستجو که بهسادگی سطح وب را جستجو میکند، کار خود را شروع میکنیم. تا انتهای این مطلب با ما همراه باشید تا مشاهده کنید که وب ما چقدر پیچیده است.
فهرست مطالب
- پنهانشده در یک سایت ساده
- درست در زیر سطح
- پتانسیل عمیق
- سقوط تاریکیها
- Titillating Tor
- بخش روشنتر تاریکی
- حتی عمیقتر
پنهانشده در یک سایت ساده
دیپ وب در مقایسه با سطح وب خیلی بزرگتر است. در حال حاضر وب دارای بیش از 555 میلیون دامنه ثبتشده است. هریک از این دامنهها هم میتوانند دارای دهها، صدها و یا حتی هزاران زیر صفحه باشند که بسیاری از آنها دستهبندی نشدهاند و بنابراین در دستهبندی دیپ وب قرار میگیرند.
گرچه هیچکس بهطورقطع این را نمیداند، ولی ممکن است دیپ وب 400 یا 500 میلیون بار بزرگتر از سطح وب باشد. هم دیپ وب و همسطح وب، هرروز بزرگتر و بزرگتر میشوند.
برای اینکه دلیل عدم دسترسی موتورهای جستجو به این مقدار از اطلاعات و روش کار با دیپ وب را درک کنید، باید کمی در زمینه فناوریهای جستجو اطلاعات داشته باشید. در این بخش خلاصهای از این مطالب را در اختیار شما قرار میدهیم.
بهطورکلی، موتورهای جستجو با پیدا کردن اطلاعاتی که بر روی وبسایتها و سایر منابع آنلاین ذخیرهشده است، فهرستی از دادهها تهیه میکنند. این فرآیند به معنای استفاده از عنکبوتها یا خزندههای وب خودکار است که دامنهها را پیداکرده و سپس لینکها را تا دامنههای دیگر دنبال میکنند، درست مانند یک عنکبوت که در زیر ساقههای ابریشمی وب قرار دارد، در حال تهیه یک نقشه پراکنده از وب است.
این فهرست یا نقشه، کلید شما برای پیدا کردن اطلاعات خاصی است که با نیازهای شما مرتبط هستند. هر بار که یک کلمه کلیدی جستجو را وارد میکنید، با تشکر از این فهرست نتایج تقریباً بلافاصله ظاهر میشوند. بدون وجود این فهرست، هر بار که یک نفر اطلاعات میخواهد، موتورهای جستجو باید به معنای واقعی کلمه میلیاردها صفحه را از اول جستجو کنند، این فرآیندی است که میتواند دشوار و طاقتفرسا باشد.
ولی موتورهای جستجو نمیتوانند اطلاعات ذخیرهشده بر روی دیپ وب را مشاهده کنند. به دلیل وجود ناسازگاری دادهها و موانع فنی، تلاش برای فهرست سازی پیچیده میشود. وبسایتهای خصوصی وجود دارند که برای دسترسی به اطلاعات آنها به رمز عبور نیاز دارید. خزندههای وب نمیتوانند به اطلاعاتی مربوط به کلمات کلیدی جستجو شده را با نفوذ در یک سایت خاص پیدا کنند. سایتهایی وجود دارند که فقط زمان خاصی میتوان به آنها دسترسی داشت و بعد از گذشتن محدودیت زمانی، دیگر امکان دسترسی عمومی به آنها وجود ندارد.
تمام این چالشها و بسیاری از موارد دیگر، پیدا کردن و فهرست بندی اطلاعات را باری موتورهای جستجو دشوارتر میسازند. برای مشاهده مواردی که باعث جدا شدن سطح وب و دیپ وب میشوند، ادامه مطلب را مطالعه کنید.
درست در زیر سطح
اگر به وب مانند یک کوه یخ نگاه کنید، بخش عظیم زیر آب، دیپ وب است و بخش کوچکی که شما میتوانید آن را در روی آب ببینید، سطح وب است.
همانطور که ذکر کردیم، میلیونها میلیون صفحه فرعی در میان میلیونها دامنه پخششدهاند. صفحات داخلی وجود داند که فاقد لینکهای خارجی هستند، مانند internal.howstuffworks.com، که برای اهدافی مانند نگهداری سایت مورداستفاده قرار میگیرند. پستهای منتشرنشده یا فهرست بندی نشدهی وبلاگها، تصاویر گالریها، محل ذخیره فایلها و مقدار نامشخصی محتوا وجود دارد که موتورهای جستجو نمیتوانند آنها را ببینند.
در اینجا فقط یک مثال کوچک آورده شده است. تعداد زیادی وبسایت روزنامههای آنلاین مستقل وجود دارد و گاهی اوقات موتورهای جستجو برخی از مقالههای موجود در این سایتها را فهرست میکنند. این موضوع برای اخبار مهمی که موردتوجه رسانههای زیادی قرار میگیرند صدق میکند. برای مثال با یک جستجوی سریع گوگل، بدون شک میتوانید دهها مقاله در مورد تیمهای فوتبال جام جهانی پیدا کنید.
برای یادگیری روش کار با دیپ وب باید بدانید که اما به دنبال داستانی که کمتر سروصدا کرده باشد میگردید، ممکن است مجبور شوید مستقیماً به سایت یک روزنامه خاص بروید و سپس برای پیدا کردن محتوای موردنظر خود، در آن سایت جستجو یا مرور کنید. این موضوع بهویژه در مورد اخبار قدیمیتر صدق میکند. هرچه داستان قدیمیتر باشد، احتمال اینکه فقط در آرشیو روزنامه ذخیرهشده باشد بالاتر میرود، این بخش هم در سطح وب قابلمشاهده نیست. ازآنجاییکه این محتوا در موتورهای جستجو قابلدسترسی نیست، بنابراین بهعنوان بخشی از دیپ وب در نظر گرفته میشود.
پتانسیل عمیق
اگر بتوانیم دیپ وب را برای جستجوی پایگاه دادههای حرفهای و اطلاعات عمیقی که دسترسی به آنها دشوار است بازکنیم، سود این کار در زمینههایی مانند پزشکی بهسرعت قابلمشاهده است.
برای موتورهای جستجو سخت است که اطلاعات موجود در دیپ وب را مشاهده کنند، اما این موارد دیده نشده، اطلاعات بیاهمیتی نیستند. اگر به مثال روزنامههای ما توجه کرده باشید، میبینید که اطلاعات جمع شده در دیپ وب ارزش بسیار زیادی دارند.
دیپ وب یک منبع بیپایان از اطلاعاتی است که ذهن شمارا به خود مشغول میکند. در دیپ وب پایگاه دادههای مهندسی، انواع اطلاعات مالی، مقالات پزشکی، تصاویر، نقاشیها و بسیاری از موارد باارزش دیگر وجود دارد که اگر بخواهیم آنها را نام ببریم این فهرست برای همیشه ادامه پیدا خواهد کرد.
روش کار با دیپ وب آنجایی سختتر میشود که میفهمیم دیپ وب مداوم عمیقتر و عمیقتر میشود. برای اینکه موتورهای جستجو، بیش از قبل سودمند باشند، برنامهنویسهای آنها باید روش نفوذ کردن در دیپ وب و منتقل کردن اطلاعات به سطح وب را یاد بگیرند. درواقع، موتورهای جستجو نهتنها باید اطلاعات معتبر را پیدا کنند، بلکه باید راهی برای ارائه آنها بدون تحتفشار قرار دادن کاربران نهایی پیدا کنند.
بااینحال موتورهای جستجو با نگرانیهای مهمتری از اینکه آیا من و شما میتوانیم بهترین دستور پخت سیب ترد در جهان را پیدا کنیم یا نه، درگیر هستند. آنها میخواهند به شرکتهای قدرتمند در پیدا کردن و استفاده از دیپ وب با به کار بردن روشهایی جدید و ارزشمند کمک کنند.
برای مثال، مهندسان ساختوساز میتوانند مقالات پژوهشی را در چندین دانشگاه جستجو کنند تا درنهایت بتوانند جدیترین و بهترین مواد اولیه برای پلسازی را پیدا کنند. پزشکان میتوانند بهسرعت آخرین تحقیقات انجامشده در مورد یک بیماری خاص را پیدا کنند.
پتانسیل دیپ وب نامحدود است. چالشهای فنی که در این راه وجود دارد هم دلهرهآور هستند. این همان طراحی عمیق وب است. بااینحال، یک بخش تیرهتر از دارک وب هم وجود دارد، بخشی که به دلیل زیادی برای بسیاری از افراد موضوعی نگرانکننده محسوب میشود.
سقوط تاریکی
دیپ وب ممکن است سرزمینی سایهای سرشار از پتانسیل استفادهنشده باشد، ولی با یادگیری روش کار با دیپ وب و کمی شانس، میتوانید چراغ دسترسی به اطلاعات ارزشمند زیادی که بسیاری از مردم برای بایگانی کردن آنها تلاش کردهاند، را روشن کنید. در دارک وب، یعنی جایی که مردم عمدا اطلاعات را پنهان میکنند، معمولاً ترجیح داده میشود این چراغ خاموش باقی بماند.
دارک وب کمی شبیه به شناسه وب است. این ناشناس و قدرتمند است و طبیعت انسان را در هر شکلی که باشد، چه خوب و چه بد، آزاد میکند.
مانند همیشه، چیزهای بد بیشتر عناوین دارک وب را تشکیل میدهند. شما میتوانید انواع کالاها و فعالیتهای غیرقانونی را در دارک وب پیدا کنید. این شامل مواد مخدر غیرقانونی، پورنوگرافی کودکان، شماره کارتهای اعتباری دزدی، قاچاق انسان، سلاح، حیوانات عجیبوغریب، رسانههای دارای حق کپیرایت و هر چیز دیگری که بتوانید به آن فکر کنید میشود. ازنظر تئوری، حتی میتوانید یک مرد حرفهای را برای کشتن کسی که از او خوشتان نمیآید استخدام کنید.
اما با جستجو در گوگل به این اطلاعات دسترسی پیدا نمیکنید. برای دسترسی به این وبسایتها باید از نرمافزارهای خاصی مانند The Onion Router که اغلب با نام Tor شناخته میشود، استفاده کنید.
Tor نرمافزاری است که بر روی مرورگر شما نصب میشود و اتصالات خاصی را که برای دسترسی به سایتهای دارک وب لازم است، تنظیم میکند. اگر بخواهیم بهصورت منتقدانه به این موضوع نگاه کنیم، Tor یک فنّاوری رمزگذاری شده است که هویت ناشناس خود را در حالت آنلاین حفظ کنند. این نرمافزار با مسیریابی ارتباطات در سراسر جهان این کار را انجام میدهد و درنتیجه ردیابی آنها را بسیار دشوارتر از قبل میکند.
همچنین Tor به مردم اجازه میدهد به خدماتی که اصطلاحاً سرویس مخفی نامیده میشوند، مانند وبسایتهای زیرزمینی که در دارک وب بدنام هستند، دسترسی پیدا کنند. در این صورت بهجای دیدن دامنههایی که به .com یا .org ختم میشوند، سایتهای مخفی را که به .onion ختم میشوند را مشاهده میکنید.
Titillating Tor
در اکتبر 2013، مقامات ایالاتمتحده، سایت Silk را بعد از دستگیری صاحب آن، یعنی راس ویلیام اولبریخت، تعطیل کردند.
بدنامترین مورد در میان این سایتهای پیاز مانند، سایت Silk Road بود که دیگر در دسترس نیست. این سایت یک بازار آنلاین بود که کاربران میتوانستند در آن مواد مخدر، اسلحه و تمام وسایل غیرقانونی دیگر را خریداری کنند. درنهایت FBI، راس اولبریخت که مؤسس این سایت بود را دستگیر کرد، ولی سایتهای شبیه به Silk Road مانند Black Market Reloaded همچنان بهراحتی در دسترس هستند.
شاید عجیب به نظر برسد، ولی Tor نتیجه تحقیقاتی است که توسط آزمایشگاه پژوهشی نیروی دریایی ایلات متحده آمریکا ایجاد شد. این نرمافزار برای مخالفان و افشاگران سیاسی ساختهشده است و به آنها اجازه میدهد که بدون ترس از انتقامجویی باهم ارتباط برقرار کنند.
Tor در پنهان نگهداشتن چنین گروههایی بسیار مؤثر عمل میکرد، به همین دلیل هم خیلی زود افراد مجرم هم به استفاده از این نرمافزار رو آوردند.
این باعث میشود مجریان قانون در ایالاتمتحده در یک موقعیتی کنایهآمیز قرار بگیرند، زیرا مجبور هستند به دنبال دستگیری جنایتکارانی باشند که از نرمافزار تحت حمایت دولت برای پنهان کردن رد خود استفاده میکنند. به نظر میرسد Tor یک شمشیر دو لبه است.
ناشناس بودن در دارک وب بخشی از روش کار با دیپ وب است. اما ممکن است برایتان این پرسش ایجاد شود که اگر خریداران و فروشندگان از هویت یکدیگر مطلع نیستند، چطور معاملات مربوط به پول را انجام میدهند. در اینجا به بیت کوین میرسیم.
اگر تابهحال نام بیت کوین را نشنیدهاید، بهتر است بدانید که این یک ارز دیجیتال رمزنگاریشده است. درست مانند پول نقد معمولی، برای هر نوع معاملاتی مناسب است و مزیت آنهم این است که قابلشناسایی نیست. هیچکس نمیتواند یک جنس غیرقانونی یا هر جنس دیگری که با بیت کوین خریداریشده است را ردیابی کند.
احتمال دارد بیت کوین در آینده به واحد پولی تبدیل شود، یک نوع پول غیرمتمرکز و غیرقانونی که از فساد هر نوع دولتی در امان است. ولی ازآنجاییکه هیچ دولتی از بیت کوین پشتیبانی نمیکند، معمولاً ارزش آن به شکل دیوانهواری در حال نوسان است. درنتیجه، سرمایهگذاری کردن پسانداز کل عمرتان بر روی بیت کوین، فکر خوبی نیست. اگر این ارز به شکل مناسبی با Tor مورداستفاده قرار بگیرد، ممکن است به یک روش بیعیب و نقص برای خریدوفروش در وب تبدیل شود.
بخش روشنتر تاریکی
یکی از جنبههای قابلتوجه و جذاب بیت کوین، امکان معامله آن بهصورت ناشناس است.
دارک وب دارای جلوههای شومی است. بااینحال، تمام چیزهای موجود در طرف تاریکتر بد نیستند. با یادگیری روش کار با دیپ وب متوجه خواهید شد که خدماتی در دارک وب وجود دارند که لزوماً غیرقانونی محسوب نمیشوند.
دارک وب خانهی موتورهای جستجوی متناوب، خدمات ایمیلی، ذخیره فایل، اشتراک گذرای فایل، رسانههای اجتماعی، سایتهای گفتگو، رسانههای خبری و سایتهایی است که زمینه امنتری برای فعالیت مخالفان سیاسی و کسانی است که ممکن است خود را در حاشیه جامعه ببینند.
در عصری که ناظرهایی از نوع NSA در همهجا به چشم میخورد و به نظر میرسد زمان حریم خصوصی به سر رسیده باشد، دارک وب خیال افرادی را که دوست دارند هویت خود را بهصورت ناشناس نگهدارند، راحت میکند. شاید موتورهای جستجوی دارک وب، نتایج جستجو را شخصیسازی نکنند، اما درعینحال فعالیتهای آنلاین شما را هم ردیابی نمیکنند و جریانی نامحدود از تبلیغات را هم به شما ارائه نمیکنند. ممکن است بیت کوین کاملاً باثبات نباشد، اما حریم خصوصی شما را حفظ میکند، کاری که شرکت کارت اعتباری شما بههیچوجه انجام نمیدهد.
برخلاف فیسبوک یا توییتر، که نظارت بر آنها برای دولت آسان است، دارک وب پوشش عمیقتر و امنیت بیشتری را برای افرادی که قصد دارند در مورد سیاستمداران یا صاحبان شرکتهای بزرگ بد حرف بزنند یا آنها را تضعیف کنند، فراهم میکند.
در مقالهای که توسط محققان دانشگاه لوکزامبورگ منتشرشده است، پژوهش گران سعی کردهاند بیشتری موارد دسترسی به دارک وب را رتبهبندی کنند. نتیجه این بود که اگرچه سایتهایی که به فعالیتهای غیرقانونی و محتوای مخصوص بزرگسالان میپردازند محبوبیت زیادی دارند، ولی تعداد افرادی که با یادگیری روش کار با دیپ وب، به تبادل اطلاعات در مورد حقوق بشر آزادی بیان میپردازند هم زیاد هستند.
بنابراین، گرچه دارک وب دارای یک جنبه تاریک است، از پتانسیل زیادی هم برخوردار است.
حتی عمیقتر از دارک وب
دیپ وب مدام عمیقتر و عمیقتر میشود. ذخیره دانش و سایر موارد پیشپاافتاده موجود در دارک وب، هرروز رشد بیشتری پیدا میکند و به کار ما را برای درک موارد پیچیده آن افزایش میدهد. درنهایت، این شاید بزرگترین چالش اینترنتی باشد که خودمان ایجاد کردهایم.
برنامه نویسان به بهبود الگوریتمهای موتورهای جستجو ادامه میدهند و آنها را برای فرورفتن در لایههای وب آماده میکنند. با انجام این کار، آنها به محققان و کسبوکارها کمک میکنند با روشهایی که در گذشته غیرممکن بود، به اطلاعات دسترسی پیدا کنند.
بااینحال، کار اصلی یک موتور جستجوی هوشمند، فقط پیدا کردن اطلاعات نیست. کاری که واقعاً میخواهید انجام دهید، پیدا کردن اطلاعات مرتبط است. در غیر این صورت، در میان دریایی از دادههای بههمریخته رها میشوید و آرزو میکنید که کاش هرگز روی گزینه جستجو کلیک نمیکردید.
این مشکل کلان داده است. کلان داده به دادههای بسیار بزرگی گفته میشود که بهقدری عظیم هستند که امکان کنترل و منسجم کردن آنها وجود ندارد. ازآنجاییکه اینترنت بهسرعت در حال رشد است، تمام دنیای ما غرق در داده شده است و درک همه آنها برای همه ما، حتی تمام کامپیوترهای قدرتمند و همهچیزدان موجود در Bing و مرکز گوگل هم دشوار است.
همراه با رشد اینترنت، شرکتهای بزرگ پول بیشتر و بیشتری را برای مدیریت و تحلیل اطلاعات صرف میکنند، تا هم عملکرد سازمان خود را بهبود دهند و هم مزیتی رقابتی نسبت به سایر شرکتها برای خود ایجاد کنند. یادگیری روش کار با دیپ وب، یعنی استخراج و سازماندهی اطلاعات از دیپ وب، بخش حیاتی این استراتژیها است. شرکتهایی که یاد میگیرند از این دادهها در جهت منافع شخصی خود استفاده کنند، میتوانند در این رقابت دوام بیاورند و شاید هم دنیا را با فناوریهای جدید تغییر دهند. شرکتهایی که فقط بر روی سطح وب تمرکز میکنند، قادر به رقابت با سایرین نیستند.
در همین حال، دیپ وب همچنان افرادی را که از اینترنت استفاده میکنند، متحیر و مبهوت میسازد. دیپ وب شامل دانش جذابی است که میتواند به ما کمک کند ازنظر فناوری و به شکلی خاص به سایر اطلاعات متصل شویم. و البته طرف تاریک دیپ وب هم همیشه در کمین خواهد بود، درست مانند جنبه تاریک طبیعت انسان. دیپ وب نهتنها در مورد پتانسیل پراکنده و مبهم اینترنت سخن میگوید، بلکه به نژاد انسان هم اشاره میکند.
دیپ وب چطور کار میکند؟
دیپ وب مکانی مبهم و تاریک است. اما زمانی که در مورد این موضوع بیشتر تحقیق کنیم، یک موضع را درک میکنیم. بیشتر عناوین خبری معمولاً به حساسیت دارک وب و طرف تاریکتر آن اشاره میکنند و بهندرت از پتانسیل نادیده گرفتهشده دیپ وب سخن میگویند. مقالههای مربوط به مواد مخدر و اسلحهی غیرقانونی، بهصورت واضح خوانندههای بیشتری نسبت به جزئیات مربوط به چالشهای فنّاوری برای برداشت اطلاعات از دیپ وب دارند. مقالات منفی و نفسگیر را باید با شک و تردید بخوانید. بهتر است به خاطر داشته باشید که در دیپ وب، چیزهایی بیشتر از عناصر مجرمانه آشکار وجود دارد. همانطور که مهندسان، راههای بهتر و سریعتری برای فهرستنویسی دادههای فروشگاههای وب پیدا میکنند، یادگیری روش کار با دیپ وب یا بهطورکلی اینترنت، میتواند جامعه ما را به شکل شگفتانگیزی تغییر دهد.