وقتی چت جی پی تی خطا می کند از توهم اطلاعاتی تا بروز مخاطرات واقعی به گزارش دیجیتالر، با توسعه هوش مصنوعی، مجموعه ای از خطاها و گاف های پرهزینه این فناوری هم روی داده است که شکاف توان تولید متن روان و قانع کننده و قابلیت تصمیم سازی قابل اتکا و مسئولانه را برجسته می کند. به گزارش دیجیتالر به نقل از مهر؛ هوش مصنوعی مولد بخصوص مدلهای زبانی بزرگ مانند چت جی پی تی در مدت زمانی بسیار کوتاه، از یک تکنولوژی نوظهور آزمایشگاهی به ابزاری فراگیر در حوزه های رسانه، کسب وکار، آموزش، تولید محتوا و حتی فرایندهای حساس تصمیم سازی تبدیل گشته اند. سهولت دسترسی، کیفیت بالای تولید متن و توان شبیه سازی گفتگوی انسانی، سبب شده این ابزارها با سرعتی فراتر از آمادگی نهادی و حقوقی، وارد حوزه های کاری حرفه ای و روزمره کاربران شوند. اما درست هم زمان با این نفوذ گسترده، مجموعه ای از خطاها و گاف های پرهزینه هم روی داده است؛ مواردی که به اعتقاد کارشناسان، نشان داده است میان «توان تولید متن روان و قانع کننده» و «قابلیت تصمیم سازی قابل اتکا و مسئولانه» شکافی جدی وجود دارد. شکافی که اگر نادیده گرفته شود، می تواند خروجی هوش مصنوعی را از یک ابزار کمکی به یک عامل مخرب و تهدید آفرین تبدیل کند. این نوشتار کوتاه با نگاهی تحلیلی و مبتنی بر نمونه های حقیقی، به بررسی مهم ترین خطاها و گاف های منتسب به مدلهای زبانی بزرگ و چت بات های مبتنی بر این فناوری می پردازد؛ خطاهایی که در تعدادی موارد صرفا به هزینه های اعتباری، حقوقی یا سازمانی منجر شده اند و در تعدادی دیگر، پیامدهایی بمراتب عمیق تر داشته و پای سلامت روان و حتی جان انسان ها را به میان کشیده اند. هدف از این بررسی، ایجاد هراس از فناوری نیست، بلکه روشن کردن مرز میان «استفاده هوشمندانه» و «اتکای پرخطر» به هوش مصنوعی مولد محسوب می شود. ریشه مسئله: خطای اطلاعاتی با لحن قاطع محققان و توسعه دهندگان همواره تاکید دارند که مدلهای زبانی بزرگ، مانند چت جی پی تی، «دانش محور» نیستند، بلکه بر مبنای الگوهای آماری زبان، محتمل ترین پاسخ را تولید می کنند. نتیجه این سازوکار، پدیده ای است که در ادبیات فنی با عنوان توهم (Hallucination) شناخته می شود؛ یعنی تولید پاسخ هایی که از نظر زبانی منسجم و قاطع هستند اما از نظر محتوایی نادرست یا کاملا ساختگی به شمار می روند. بر همین اساس، خطر اصلی زمانی بروز می کند که این پاسخ ها با لحنی مطمئن و حرفه ای عرضه می شوند و کاربر یا سازمان، بواسطه ظاهر قانع کننده پاسخ ها، بدون راستی آزمایی، آنها را وارد فرآیند تصمیم گیری رسمی می کند. حوزه حقوقی: وقتی پرونده های جعلی وارد دادگاه می شوند طبق گزارش وبگاه خبری رویترز در تاریخ ۲۳ ژوئن ۲۰۲۳، یکی از شناخته شده ترین نمونه های خطای مدلهای زبانی بزرگ، استفاده وکلای یک پرونده در دادگاه فدرال آمریکا از ارجاعات قضایی ساختگی تولیدشده توسط چت جی پی تی بود. بر مبنای بررسی های صورت گرفته از طرف کارشناسان، این پرونده ها هیچگاه وجود خارجی نداشتند، اما به علت اتکای بی چون وچرا به خروجی مدل، وارد لایحه رسمی دادگاه شدند؛ امری که در نهایت به جریمه و توبیخ وکلا انجامید. متخصصان براین باورند که این رخداد نشان داد در حوزه هایی مانند حقوق، خروجی مدلهای زبانی بزرگ نه فقط یک ابزار کمکی ساده نیست، بلکه می تواند مستقیماً به مسئولیت حرفه ای و تبعات حقوقی منجر شود. افترا و خدشه به اعتبار افراد: طرح اتهامات واهی ضد افراد واقعی بررسی های صورت گرفته نشان داده است که مدلهای زبانی بزرگ در موارد مختلفی، اطلاعات نادرست یا اتهامات بی پایه را به افراد حقیقی نسبت می دهند. رویترز در گزارشی به تاریخ ۵ آوریل ۲۰۲۳، گزارش داد که هوش مصنوعی مدعی ارتباط یک مقام محلی در استرالیا با پرونده رشوه خواری شده است؛ این در شرایطی است که پرونده قضایی مذکور اساساً وجود نداشت. کارشناسان باور دارند که این نوع خطاها، ریسک شکایت افترا و صدمه جدی به اعتبار افراد و سازمان ها را به همراه دارد. برای رسانه ها، واحدهای روابط عمومی و حتی منابع انسانی، چنین خطاهایی می تواند به بحران اعتبار و هزینه های حقوقی قابل توجه منجر شود. خطاهای حوزه خدمات مشتری: وقتی چت بات تعهد ایجاد می کند طبق گزارش انتشار یافته از طرف وبگاه تخصصی «ARS Technica» در تاریخ ۱۶ فوریه ۲۰۲۴، یک چت بات هوش مصنوعی خدمات مشتریان، در پرونده ای دیگر، به تولید اطلاعات نادرست درباره ی سیاست بازپرداخت شرکت هواپیمایی «Air Canada» پرداخته است. در این پرونده قابل تأمل، دادگاه در نهایت شرکت را موظف دانست که مطابق همان اطلاعات غلط عرضه شده، به مشتری غرامت بپردازد. محققان بر این عقیده هستند که پیام این پرونده هم روشن است. بر همین اساس، هرجا چت بات در نقش نماینده رسمی سازمان با مشتری صحبت می کند، خروجی آن می تواند تعهدآور تلقی شود؛ حتی اگر مبتنی بر اطلاعات نادرست باشد. خطاهای پزشکی: از سفارش های ناقص تا دستاوردهای بالینی علاوه بر همه موارد ذکر شده، در حوزه سلامت و تندرستی، اتکا به راهنمائی های مدلهای زبانی بزرگ بدون نظارت تخصصی، می تواند برای کاربران خطرناک و هزینه زا باشد. برخی گزارش های انتشار یافته نشان داده است که در مواردی کاربران با پیروی از سفارش های تغذیه ای یا پزشکی نادرست تولیدشده توسط چت بات ها، گرفتار عوارض جدی شده اند. بر همین اساس، در مقاله ای علمی به تاریخ ۵ اوت ۲۰۲۵ با عنوان «بررسی موردی از بیماری برومیسم تحت تاثیر استفاده از هوش مصنوعی»، اطلاعاتی از یک کیس پزشکی منتشر گردید که در آن فردی بعد از اتکا به سفارش های چت جی پی تی درباره ی رژیم غذایی و جایگزینی نمک، گرفتار مسمومیت برم (bromism) و مشکلات جدی شده است. مساله در این عرصه، صرفا «اشتباه بودن پاسخ» نیست؛ بلکه زنجیره تصمیم های بعدی است که می تواند به تأخیر درمان، پیشرفت بیماری یا بروز صدمه های غیرقابل جبران منجر شود. حساس ترین نوع خطا: پیوند چت بات و بحران سلامت روان سرانجام، می توان به خطرناک ترین بخش خطاهای مبتنی بر هوش مصنوعی پرداخت، بر همین اساس، در ماه های اخیر، چندین پرونده رسانه ای و حقوقی درباره ی اثرات مخرب هوش مصنوعی مطرح شده که در آنها خانواده ها ادعا کرده اند تعاملات طولانی با چت بات ها، همچون چت جی پی تی، در تشدید بحران روانی نوجوانان و جوانان و حتی وقوع خودکشی نقش داشته است. باآنکه همه این موارد بطور قطعی اثبات نشده اند و برخی به چت بات هایی غیر از محصول برجسته شرکت اوپن ای آی مربوط می شوند، اما یک الگوی مشترک در همه خطاهای مذکور وجود دارد که شامل گفت وگوهای همدلانه اما بدون تشخیص بالینی می شود؛ فرایندی که بجای هدایت فرد به سوی دریافت کمک حرفه ای از متخصصان، او را در چرخه افکار منفی نگه می دارند. محققان براین باورند که این حوزه، پرریسک ترین کاربرد هوش مصنوعی مولد است و نیاز مبرمی به سخت گیرانه ترین سازوکارهای ایمنی در این زیمنه خاص وجود دارد. چرا این خطاها تکرار می شوند؟ تکرار این خطاها را باید حاصل تلفیقی از چند عامل ساختاری دانست. متخصصان مدعی هستند که از یک سو، لحن قاطع و اطمینان بخش خروجی های مدلهای زبانی بزرگ سبب می شود کاربران بسادگی به پاسخ ها اعتماد کنند و نسبت به احتمال خطا حساسیت خودرا از دست بدهند. از طرف دیگر، مدل فاقد درک حقیقی از زمینه فردی، حقوقی یا پزشکی کاربر است و نمی تواند ظرافت ها و تفاوت های موقعیتی حیاتی برای تصمیم گیری را تشخیص دهد. در ادامه، این وضعیت، با فشار کاربران برای دریافت پاسخ های سریع و قطعی تشدید می شود؛ فشاری که مدل را به تولید جواب هایی ظاهراً نهائی سوق می دهد. از طرف دیگر، مشکل زمانی حادتر می شود که این خروجی ها بدون هیچ نوع کنترل کیفی یا راستی آزمایی انسانی، وارد فرایندهای رسمی سازمانی، حقوقی یا حرفه ای می شوند. سرانجام، گویی فقدان چارچوب حکمرانی روشن و دستورالعمل های مشخص جهت استفاده از هوش مصنوعی در سازمان ها، زمینه را برای تداوم و بازتولید این خطاها فراهم می آورد. جمع بندی گاف های مدلهای زبانی بزرگ همچون چت جی پی تی پدیده های تصادفی یا گذرا نیستند، بلکه پیامد مستقیم ماهیت این فناوری و نحوه استقرار شتاب زده آن در ساختارهای حرفه ای به شمار می روند. هوش مصنوعی مولد به شکلی طراحی شده که «پاسخ محتمل» تولید نماید و این پاسخ لزوماً همواره درست نیست؛ بدین سبب هرجا که خروجی هوش مصنوعی بدون لایه های کنترلی وارد تصمیم سازی، داوری، درمان، قضاوت یا تعامل حساس با انسان شود، بروز خطا نه یک استثنا، بلکه امری قابل پیش بینی است. در چنین شرایطی، سازمان ها، رسانه ها و نهادهایی که از این ابزار استفاده می نمایند، ناگزیر هستند میان دو مطالبه متعارض توازن برقرار کنند. کاربران شخصی و سازمانی از یک سو با سرعت، کاهش هزینه و افزایش راندمان و از طرف دیگر مسئولیت حرفه ای، پاسخ گویی حقوقی و صیانت از اعتماد عمومی مواجهند. در چنین شرایطی، چاره نه کنارگذاشتن هوش مصنوعی و نه اعتماد بی قیدوشرط به آن است، بلکه استقرار یک چارچوب حکمرانی روشن جهت استفاده از مدلهای زبانی بزرگ و ابزارهای مبتنی بر این فناوری است؛ چارچوبی که در آن، نقش انسان در راستی آزمایی و تصمیم نهائی حذف نشود، کاربردها بر مبنای سطح ریسک طبقه بندی شوند و استفاده در حوزه های پرخطر با محدودیت های سخت گیرانه همراه باشد. در غیر این صورت، گاف بعدی صرفا یک خطای فنی یا رسانه ای نخواهد بود، بلکه می تواند به بحرانی حقوقی، اعتباری یا حتی انسانی تبدیل گردد که هزینه آن بمراتب بالاتر از صرفه جویی اولیه ناشی از استفاده از هوش مصنوعی خواهد بود. بطور خلاصه نتیجه این سازوکار، پدیده ای است که در ادبیات فنی با عنوان توهم (Hallucination) شناخته می شود؛ یعنی تولید پاسخ هایی که از نظر زبانی منسجم و قاطع هستند اما از نظر محتوایی ناصحیح یا کاملا ساختگی به شمار می روند. اگرچه همه این موارد به طور قطعی اثبات نشده اند و برخی به چت بات هایی غیر از محصول برجسته شرکت اوپن ای آی مربوط می شوند، اما یک الگوی مشترک در همه خطاهای مذکور وجود دارد که شامل گفت وگوهای همدلانه اما بدون تشخیص بالینی می شود؛ فرایندی که بجای هدایت فرد به طرف دریافت کمک حرفه ای از متخصصان، او را در چرخه افکار منفی نگه می دارند. در چنین شرایطی، سازمان ها، رسانه ها و نهادهایی که از این ابزار استفاده می نمایند، ناگزیر هستند میان دو مطالبه متعارض توازن برقرار کنند. منبع: digitaler.ir 1404/10/13 14:39:19 5.0 / 5 9 تگهای خبر: آموزش , ایمنی , تكنولوژی , تولید این مطلب دیجیتالر را می پسندید؟ (1) (0) X تازه ترین مطالب مرتبط حضور همراه اول در دهمین نمایشگاه بین المللی جامع کشاورزی ایران بوشهر نقطه عطف نوآوری های دریایی کشور است مروری بر برجسته ترین فناوری های نظامی سال ۲۰۲۵ چین برای روبات های انسان نما مدرسه ساخت کامنت بینندگان دیجیتالر در مورد این مطلب کامنت شما در مورد این مطلب نام: ایمیل: کامنت: سوال: = ۱ بعلاوه ۲