چرا باید دربارهی اخلاق ماشینها حرف بزنیم؟
بیایید با یک سوال ساده شروع کنیم: امروز چند بار با هوش مصنوعی (AI) تعامل داشتهاید؟ شاید بگویید هیچ. اما بیایید کمی دقیقتر شویم. وقتی صبح از خواب بیدار شدید و گوشی خود را برداشتید، الگوریتم شبکههای اجتماعی تصمیم گرفت کدام پستها را اول به شما نشان دهد. وقتی برای رفتن به محل کار از یک اپلیکیشن مسیریابی استفاده کردید، هوش مصنوعی بهترین مسیر را برایتان انتخاب کرد. وقتی در حال گوش دادن به موسیقی بودید، یک الگوریتم تصمیم گرفت آهنگ بعدی چه باشد. وقتی یک ایمیل تبلیغاتی دریافت نکردید، به این دلیل بود که فیلتر هوشمند ایمیل شما آن را به عنوان هرزنامه تشخیص داد.

هوش مصنوعی دیگر یک فناوری دور از دسترس نیست؛ مانند هوا در اطراف ما جریان دارد. نامرئی، اما تأثیرگذار. تا زمانی که این تأثیرات در حد پیشنهاد یک فیلم یا یک آهنگ باقی بماند، شاید چندان مهم به نظر نرسد. اما ما به سرعت در حال عبور از این مرحله هستیم. امروز، هوش مصنوعی در جایگاههایی قرار گرفته که تصمیماتش میتواند مسیر زندگی ما را تغییر دهد. یک الگوریتم میتواند درخواست وام مسکن شما را رد کند. یک سیستم هوشمند میتواند رزومه شما را از میان هزاران رزومه برای یک مصاحبه شغلی انتخاب کند یا کنار بگذارد. و در آیندهای نه چندان دور، یک ماشین ممکن است در شرایطی بحرانی، دربارهی مرگ و زندگی یک انسان تصمیم بگیرد.
اینجاست که بحث از حوزه فناوری خارج شده و به قلب فلسفه و اخلاق میرسد. ما در حال واگذاری بخشی از قدرت «قضاوت» خود به مخلوقاتی هستیم که خودمان ساختهایم. مخلوقاتی که فکر میکنند، یاد میگیرند، و تصمیم میگیرند، اما فاقد قلب، وجدان، و تجربهی انسانی هستند. این یک اتفاق بیسابقه در تاریخ بشر است. فناوری با سرعتی باورنکردنی در حال پیشرفت است، اما به نظر میرسد تفکر ما دربارهی پیامدهای اخلاقی آن، چند قدم عقبتر مانده است.
هدف این مقاله خانه فلسفه، پر کردن این شکاف است. قرار نیست راهحلهای قطعی ارائه دهیم، چون شاید چنین راهحلهایی اصلاً وجود نداشته باشند. هدف، طرح سوالات درست است. میخواهیم با هم به ابعاد مختلف این دنیای جدید نگاه کنیم و چارچوبهایی برای فکر کردن به آن پیدا کنیم. این یک گفتگوی ضروری است، چون آیندهای که در آن زندگی خواهیم کرد، توسط پاسخهایی که امروز به این سوالات میدهیم، شکل خواهد گرفت.
مطلب پیش رو، خلاصهای آزاد، مفصل و الهامگرفته از مقالهای به نام «اخلاق برای عصر هوش مصنوعی» نوشته محمود خاتمی فیلسوف و استاد دانشگاه تهران است که در شماره ۱۶۸ مجله بینالمللی معتبر Philosophy Now (نسخه ژوئن/جولای ۲۰۲۵) منتشر شده است.
بخش اول: دوراهیهای اخلاقی و مغزهای برنامهریزیشده
تصور کنید در حال ساختن یک ربات هستید. شما میخواهید این ربات در دنیای واقعی، در کنار انسانها، زندگی و کار کند. یکی از اولین و مهمترین کارهایی که باید انجام دهید، این است که به او یاد بدهید چگونه تصمیم بگیرد، به خصوص در شرایط سخت.
داستان خودروی هوشمند و کودک در خیابان
بیایید به یک مثال بسیار واقعی فکر کنیم که مهندسان امروز با آن درگیر هستند. یک خودروی خودران را تصور کنید که با سرعت در یک خیابان خلوت حرکت میکند. شما تنها سرنشین آن هستید. ناگهان، یک کودک از پشت ماشینی پارکشده، به وسط خیابان میپرد. خودروی هوشمند شما در کسری از ثانیه، تمام دادهها را تحلیل میکند و میفهمد که تنها دو گزینه پیش رو دارد:
- گزینه اول: مستقیم به حرکت ادامه دهد. در این صورت، قطعاً با کودک برخورد خواهد کرد و احتمال مرگ او بسیار بالاست.
- گزینه دوم: به شدت منحرف شود. در این صورت، از برخورد با کودک جلوگیری میکند، اما با سرعت به یک دیوار بتنی در کنار خیابان میکوبد و احتمال مرگ شما به عنوان سرنشین، بسیار بالا میرود.
الگوریتم باید کدام گزینه را انتخاب کند؟ چه کسی باید این دستور را از قبل در کد آن نوشته باشد؟ برنامهنویس؟ شرکت خودروسازی؟ دولت؟ یا شاید خود شما، در روزی که ماشین را میخرید، باید از بین گزینههای «اخلاق فداکارانه» یا «اخلاق خودخواهانه» یکی را انتخاب کنید؟
این سوال، نسخهی مدرن یک معمای کلاسیک در فلسفه به نام «مسئله ترولی» است. این معما نشان میدهد که اخلاق، یک فرمول ریاضی ساده نیست. ما انسانها هزاران سال است که دربارهی این مسائل بحث میکنیم و هنوز به یک جواب واحد نرسیدهایم. حالا چگونه انتظار داریم یک ماشین این تصمیم را بگیرد؟
برای اینکه بتوانیم به این سوال بهتر فکر کنیم، باید با دو طرز فکر اصلی در فلسفه اخلاق آشنا شویم. میتوانیم این دو را به عنوان دو «سیستمعامل» متفاوت برای تصمیمگیری اخلاقی در نظر بگیریم.
سیستمعامل شماره یک: مغز قانونمدار (اخلاق کانتی)
این طرز فکر، که ریشه در اندیشههای فیلسوف بزرگ، ایمانوئل کانت دارد، بسیار ساده و سرراست است: یک سری قوانین اخلاقی وجود دارند که همیشه و همهجا باید رعایت شوند، بدون هیچ استثنایی. برای این نگاه، نتیجهی یک عمل مهم نیست؛ خودِ آن عمل است که یا درست است یا غلط.
- مثلاً: دروغ گفتن همیشه غلط است. حتی اگر قرار باشد با یک دروغ، جان کسی را نجات دهید. دزدی همیشه غلط است. کشتن یک انسان بیگناه همیشه غلط است.
این نگاه، به دنبال اصولی جهانی و ثابت است. اگر بخواهیم یک هوش مصنوعی را بر اساس این سیستمعامل بسازیم، باید برایش یک سری قوانین خدشهناپذیر تعریف کنیم. مثلاً، «قانون شماره یک: هرگز به یک انسان آسیب نزن.» چنین ماشینی، در مثال خودروی خودران، احتمالاً انتخاب میکند که به دیوار بکوبد و جان شما را به خطر بیندازد، چون «آسیب زدن عمدی به یک کودک» یک قانونشکنی مطلق است.
- مزیت این نگاه: قابل پیشبینی و باثبات است. شما همیشه میدانید که یک ماشین قانونمدار چگونه رفتار خواهد کرد.
- عیب این نگاه: بسیار خشک و انعطافناپذیر است. دنیای واقعی پر از موقعیتهای پیچیده و خاکستری است که قوانین ساده در آن جواب نمیدهند. گاهی وقتها، انتخاب بین «بد» و «بدتر» است و یک ماشین قانونمدار در چنین شرایطی فلج میشود.
سیستمعامل شماره دو: مغز حسابگر (اخلاق فایدهگرا)
این طرز فکر، که فیلسوفانی مانند جان استوارت میل آن را توسعه دادند، نگاهی کاملاً متفاوت دارد. این نگاه میگوید: «قانون و اصل مهم است، اما چیزی که در نهایت اهمیت دارد، نتیجهی عمل است.» از نظر یک فایدهگرا، اخلاقیترین کار، کاری است که بیشترین میزان خوشبختی و شادی را برای بیشترین تعداد آدمها به همراه داشته باشد و کمترین میزان درد و رنج را ایجاد کند.
- مثلاً: اگر یک دروغ کوچک بتواند از یک جنگ بزرگ جلوگیری کند، پس آن دروغ، اخلاقی است.
این طرز فکر، دائماً در حال محاسبهی سود و زیان است. اخلاق برای او شبیه به یک ترازنامه است. اگر بخواهیم یک هوش مصنوعی را بر اساس این سیستمعامل بسازیم، او در هر لحظه در حال محاسبه خواهد بود. در مثال خودروی خودران، او شاید اینطور حساب کند: «مرگ یک نفر (شما) بهتر از مرگ یک نفر دیگر (کودک) است، پس فرقی نمیکند. اما اگر در یک سناریوی دیگر، انتخاب بین مرگ یک نفر و مرگ پنج نفر باشد، قطعاً باید یک نفر را فدا کرد.»
- مزیت این نگاه: انعطافپذیر و عملگراست. به دنبال بهترین نتیجه در دنیای واقعی است.
- عیب این نگاه: میتواند بسیار خطرناک باشد. این نگاه ممکن است قربانی کردن حقوق افراد یا اقلیتها را برای «خیر بزرگتر» توجیه کند. چه کسی تعریف میکند «خوشبختی» چیست و چگونه باید آن را اندازهگیری کرد؟ آیا جان یک انسان را میتوان با اعداد و ارقام سنجید؟
نتیجهگیری بخش اول:
همانطور که دیدید، هیچکدام از این دو سیستمعامل بینقص نیستند. اخلاق انسانی، ترکیبی پیچیده از هر دوی اینها و چیزهای دیگری مانند عشق، همدلی، و شهود است. مشکل اصلی اینجاست که ما در حال تلاش برای ترجمهی یک مفهوم عمیقاً انسانی، آشفته، و وابسته به زمینه، به زبان خشک و دقیق ریاضیات و کدنویسی هستیم. این بزرگترین چالش فلسفی عصر ماست.
بخش دوم: آینههایی که تعصبات ما را بازتاب میدهند
یک تصور رایج و خطرناک وجود دارد: ماشینها بیطرف هستند. آنها قضاوت نمیکنند. آنها فقط با منطق و داده کار میکنند. اما این تصور، از پایه اشتباه است. ماشینها، به خصوص سیستمهای هوش مصنوعی، مانند یک کودک هستند. آنها دنیا را از طریق دادههایی که ما به آنها میدهیم، یاد میگیرند. اگر دادههای ما پر از تبعیض و پیشداوری باشد، هوش مصنوعی ما نیز یک موجود متعصب خواهد بود.
این پدیده، که به آن «تعصب الگوریتمی» میگویند، یکی از موذیترین و نگرانکنندهترین جنبههای هوش مصنوعی است. چون این تبعیض، دیگر در ذهن یک انسان نیست که بتوان آن را به چالش کشید؛ بلکه در کدهای یک سیستم به ظاهر «علمی» و «عینی» پنهان شده و به آن یک مشروعیت کاذب میدهد.
چند داستان واقعی از دنیای ماشینهای متعصب
برای اینکه عمق این مشکل را درک کنیم، بیایید به چند نمونهی واقعی نگاه کنیم که در دنیای امروز اتفاق افتادهاند:
داستان اول: دوربین هوشمندی که فقط بعضی چهرهها را میشناخت. تصور کنید یک سیستم امنیتی هوشمند در یک فرودگاه نصب شده که چهرهها را تشخیص میدهد. تحقیقات نشان داده است که بسیاری از این سیستمها، که عمدتاً با استفاده از عکسهای یک گروه خاص از افراد آموزش دیدهاند، در تشخیص چهرهی افرادی که به آن گروه تعلق ندارند، با خطای بسیار بالایی عمل میکنند. این فقط یک باگ نرمافزاری نیست؛ این یک بیعدالتی سیستماتیک است که توسط فناوری تقویت میشود و میتواند منجر به دستگیری اشتباه یک فرد بیگناه شود.
داستان دوم: ربات استخدامکنندهای که از زنان متنفر بود. چند سال پیش، شرکت بزرگ آمازون یک سیستم هوشمند برای بررسی و امتیازدهی به رزومهها ساخت. این سیستم قرار بود بهترین افراد را برای استخدام پیدا کند. اما نتیجه فاجعهبار بود. سیستم به طور مداوم به رزومههای مردان امتیاز بالاتری میداد. دلیلش چه بود؟ برنامهنویسان آن زنستیز بودند؟ خیر. دلیلش این بود که سیستم، بر اساس رزومههای کارمندان موفق شرکت در ده سال گذشته آموزش دیده بود و در آن دوره، اکثر کارمندان فنی و مدیران، مرد بودند. الگوریتم به طور خودکار یاد گرفته بود که کلماتی مانند «کاپیتان تیم شطرنج زنان» یک امتیاز منفی است! او تاریخ تبعیضآمیز شرکت را تحلیل کرده و آن را به عنوان یک قانون برای آینده بازتولید کرده بود.
داستان سوم: پلیس هوشمندی که چرخهی فقر و جرم را تکرار میکرد. در برخی شهرها، از سیستمهایی استفاده میشود که با تحلیل دادههای گذشته، پیشبینی میکنند که جرم بعدی در کدام محله اتفاق خواهد افتاد. این سیستمها پلیس را به آن مناطق اعزام میکنند. ایده به نظر خوب میرسد. اما مشکل کجاست؟ دادههای اولیه از کجا آمدهاند؟ از گزارشهای پلیس در سالهای گذشته. اگر در گذشته، پلیس به دلیل تعصبات اجتماعی یا طبقاتی، بیشتر در محلههای فقیرنشین گشت میزده، طبیعتاً آمار جرایم ثبتشده در آنجا بالاتر است. حالا، کامپیوتر هم با دیدن این آمار، همان محلهها را به عنوان مناطق «پرخطر» شناسایی میکند. این باعث میشود پلیس باز هم بیشتر به آنجا برود، باز هم آمار دستگیریها بالاتر برود، و این چرخهی معیوب تا ابد ادامه پیدا کند. این سیستم، به جای حل مشکل، در حال تثبیت و تشدید آن است.
درس بزرگ این داستانها چیست؟
هوش مصنوعی یک آینه است. آینهای بسیار قدرتمند که عمیقترین و تاریکترین تعصبات جامعه ما را به خودمان نشان میدهد. مشکل اینجاست که ما اغلب فراموش میکنیم که این یک آینه است و تصویر درون آن را به عنوان یک «حقیقت عینی» و «علمی» میپذیریم. مبارزه با تعصب الگوریتمی، فقط یک چالش فنی برای بهبود دادهها نیست. این یک چالش اجتماعی برای اصلاح خودمان است.

بخش سوم: بهای راحتی؛ از دست دادن حریم خصوصی و قدرت انتخاب
هوش مصنوعی زندگی را آسانتر کرده است. این یک واقعیت انکارناپذیر است. اما این آسانی، بدون هزینه نیست. ما در حال پرداخت هزینههایی هستیم که شاید در ابتدا متوجه آنها نباشیم. دو مورد از بزرگترین این هزینهها، «حریم خصوصی» و «خودمختاری» ما هستند.
حریم خصوصی: آیا به یک کالای لوکس تبدیل میشود؟
الگوریتمها برای اینکه خوب کار کنند، گرسنهی داده هستند. آنها باید همه چیز را دربارهی ما بدانند: به چه چیزی علاقه داریم، از چه چیزی میترسیم، با چه کسانی در ارتباطیم، و حتی رازهای پنهان ما چیست. ما هر روز، با هر کلیک، هر جستجو، و هر لایک، در حال خوراک دادن به این ماشینهای گرسنه هستیم. ما در واقع در یک معاملهی نانوشته شرکت کردهایم: ما خصوصیترین اطلاعات زندگیمان را میدهیم، و در عوض، خدمات شخصیسازیشده و راحتتری دریافت میکنیم.
آیا این معامله منصفانه است؟ شاید. اما خطر زمانی جدی میشود که این دادهها علیه ما استفاده شوند. یک شرکت میتواند از اطلاعات ما برای دستکاری احساسات و تصمیمات خرید ما استفاده کند. یک دولت میتواند از آنها برای نظارت و کنترل شهروندانش بهره ببرد. در دنیایی که همه چیز ثبت و تحلیل میشود، آیا جایی برای اشتباه کردن، برای تجربههای شخصی، یا برای داشتن یک زندگی خصوصی باقی میماند؟
خودمختاری: آیا در حال از دست دادن عضلهی تصمیمگیری هستیم؟
خطر دوم، حتی عمیقتر است: از دست دادن قدرت انتخاب و قضاوت. تصمیمگیری، شبیه به یک عضله است. هرچه بیشتر از آن استفاده کنیم، قویتر میشود. هرچه کمتر از آن استفاده کنیم، ضعیفتر و تحلیلرفتهتر میشود. هوش مصنوعی، با گرفتن تصمیمهای کوچک و بزرگ به جای ما، در حال ضعیف کردن این عضله است.
تصور کنید یک الگوریتم درخواست وام شما را رد میکند. شما دیگر با یک انسان طرف نیستید که بتوانید با او صحبت کنید، مدارک بیشتری ارائه دهید، یا شرایط خاص خود را توضیح دهید. شما با یک «نه» قطعی و غیرقابلمذاکره از طرف یک جعبه سیاه روبرو هستید. این احساس ناتوانی و درماندگی، همان از دست دادن «خودمختاری» است.
علاوه بر این، ماشینها فاقد درک انسانی هستند. یک مدیر انسانی ممکن است در یک مصاحبه شغلی، درخشش هوش و اشتیاق را در چشمان یک متقاضی مضطرب ببیند و او را استخدام کند، حتی اگر رزومهاش کامل نباشد. یک پزشک انسانی ممکن است با دیدن روحیهی یک بیمار، روش درمانی متفاوتی را انتخاب کند. اینها تصمیماتی هستند که بر اساس همدلی، شهود، و درک عمیق از پیچیدگیهای انسانی گرفته میشوند. ماشینها، حداقل در حال حاضر، از درک این دنیا عاجزند. با واگذاری بیش از حد تصمیمها به آنها، ما در حال حذف کردن مهمترین عنصر از معادله هستیم: خودِ انسانیت.
بخش چهارم: بازی خطرناک «کی بود، کی بود؟»؛ معضل مسئولیتپذیری
و حالا به پیچیدهترین و شاید حلنشدنیترین معمای این بحث میرسیم: وقتی یک هوش مصنوعی اشتباه میکند، چه کسی مقصر است؟
تصور کنید یک سیستم هوشمند پزشکی، به اشتباه یک تومور سرطانی را در عکس رادیولوژی تشخیص نمیدهد و بیمار جان خود را از دست میدهد. چه کسی باید در دادگاه پاسخگو باشد؟
- برنامهنویسان؟ آنها شاید بگویند ما فقط یک الگوریتم پیچیده نوشتیم و نمیتوانستیم تمام احتمالات را پیشبینی کنیم.
- شرکت سازنده؟ آنها شاید بگویند ما تمام تستهای لازم را انجام دادیم و این یک خطای نادر بوده است.
- پزشکی که از نرمافزار استفاده کرده؟ او شاید بگوید من به یک فناوری پیشرفته اعتماد کردم.
- بیمارستان؟ دولت؟ یا شاید هیچکس؟
این پدیده، که روانشناسان به آن «پراکندگی مسئولیت» میگویند، در دنیای هوش مصنوعی به اوج خود میرسد. وقتی یک زنجیرهی طولانی از افراد و شرکتها در ساخت یک محصول دخیل هستند، مسئولیت در این زنجیره پخش میشود و در نهایت، هیچکس به طور کامل احساس مسئولیت نمیکند.
معمای «جعبه سیاه»
این مشکل، با پدیدهی «جعبه سیاه» دوچندان میشود. بسیاری از سیستمهای هوش مصنوعی مدرن، آنقدر پیچیدهاند که حتی سازندگانشان هم نمیتوانند به طور دقیق توضیح دهند که چرا یک تصمیم خاص را گرفتهاند. آنها مانند یک جعبهی جادویی عمل میکنند: دادهها وارد میشوند، یک فرآیند پیچیده و نامفهوم در داخل آن اتفاق میافتد، و یک تصمیم از آن خارج میشود.
حالا تصور کنید یک قاضی از چنین سیستمی برای تعیین حکم یک متهم استفاده کند. اگر سیستم بگوید متهم با احتمال ۹۰٪ مجرم است، و قاضی نتواند توضیح دهد که این ۹۰٪ از کجا آمده، آیا این عدالت است؟ استفاده از ابزاری که منطق آن را نمیفهمیم، برای گرفتن تصمیمهای حیاتی، یک قمار بزرگ و یک شانه خالی کردن از زیر بار مسئولیت است.
برای حل این مشکل، ما به دو چیز نیاز داریم: «شفافیت» و «قوانین روشن». ما باید سیستمهایی بسازیم که بتوانند دلیل تصمیماتشان را برای ما توضیح دهند. و باید قوانینی وضع کنیم که به وضوح مشخص کند در صورت بروز خطا، مسئولیت با چه کسی است. بدون این دو، دنیای هوش مصنوعی میتواند به یک هرجومرج خطرناک و غیرپاسخگو تبدیل شود.
حرف آخر: سوال واقعی این نیست که ماشینها چقدر باهوش میشوند
سفر ما در این دنیای پیچیده به پایان رسید. دیدیم که هوش مصنوعی، فقط یک ابزار جدید نیست. این یک نیروی دگرگونکننده است که عمیقترین مفاهیم انسانی مانند اخلاق، عدالت، و مسئولیت را به چالش میکشد.
اگر بخواهیم تمام این بحث طولانی را در چند نکتهی کلیدی خلاصه کنیم، میتوانیم بگوییم:
- یاد دادن «درست و غلط» به ماشینها، بسیار سختتر از آن چیزی است که به نظر میرسد. اخلاق انسانی یک فرمول نیست که بتوان آن را برنامهریسی کرد.
- ماشینها، آینهی تمامنمای ما هستند. آنها تمام خوبیها و بدیهای ما، و به خصوص تمام تعصبات پنهان ما را یاد میگیرند و بازتاب میدهند.
- راحتی، هزینههای پنهان دارد. با هر تصمیمی که به ماشینها واگذار میکنیم، ممکن است بخشی از حریم خصوصی، قدرت انتخاب، و در نهایت، انسانیت خود را از دست بدهیم.
- در دنیای الگوریتمها، مسئولیت به راحتی گم میشود. ما به قوانین جدید و شفافیت بیشتری نیاز داریم تا از این هرجومرج جلوگیری کنیم.
پس، شاید سوال اصلی این نباشد که «ما چقدر میتوانیم ماشینهایمان را باهوش کنیم؟».
سوال واقعی، عمیق، و بسیار انسانیتر این است:
«ما خودمان، به عنوان خالقان این هوش، چقدر میتوانیم در استفاده از آن خردمند و مسئولیتپذیر باشیم؟»
آینده، نه در هوش ماشینها، که در خرد ما نهفته است. و این، گفتگویی است که همه ما باید در آن شرکت کنیم.








