مطالعه METR: ابزارهای کدنویسی با هوش مصنوعی سرعت توسعهدهندگان باتجربه را کاهش میدهند

مطالعه METR ابزارهای کدنویسی با هوش مصنوعی سرعت توسعهدهندگان باتجربه را کاهش میدهند, یک گزارش جدید از مؤسسه تحقیقاتی غیرانتفاعی METR نتایجی شگفتانگیز درباره تأثیر واقعی ابزارهای هوش مصنوعی بر بهرهوری برنامهنویسان حرفهای منتشر کرده است. این مطالعه با طراحی یک آزمایش کنترلشده و تصادفی، باورهای رایج در مورد افزایش سرعت کدنویسی با کمک هوش مصنوعی را به چالش میکشد.

روششناسی مطالعه و شرکتکنندگان در این پژوهش، ۱۶ توسعهدهنده باتجربه در پروژههای متنباز انتخاب شدند تا ۲۴۶ تسک واقعی روی مخازن کد بزرگ انجام دهند. شرکتکنندگان به دو گروه تقسیم شدند نیمی از تسکها با اجازه استفاده از ابزارهای پیشرفته مانند و نیمی دیگر کاملاً بدون کمک هوش مصنوعی انجام گرفتند. این طراحی امکان مقایسه دقیق عملکرد در شرایط واقعی را فراهم کرد.

پیشبینیها در برابر واقعیت پارادوکس بهرهوری قبل از آغاز آزمایش، توسعهدهندگان پیشبینی کرده بودند که استفاده از هوش مصنوعی زمان انجام کارها را حدود ۲۴ درصد کاهش خواهد داد.

این یافتن نشان میدهد که درک شهودی برنامهنویسان از مزایای این ابزارها با واقعیت عملکردی آنها در پروژههای پیچیده تفاوت بنیادینی دارد. عوامل اصلی کاهش سرعت تحلیلهای محققان دلایل این کندی را در موارد زیر خلاصه کردهاند بار پرامپتنویسی زمان قابلتوجهی برای نوشتن دستورالعملهای دقیق و مدیریت تعامل با مدل صرف میشود. تأخیر در پاسخ انتظار برای تولید کد توسط مدلها به خصوص در تسکهای چندمرحلهای، جریان کار را قطع میکند.

عملکرد در مقیاس بزرگ مدلها در درک معماری پیچیده و وابستگیهای گسترده مخازن بزرگ دچار ضعف هستند و کدهای تولیدشده اغلب نیاز به بازبینی و اصلاح عمیق دارند. سطح آشنایی قبلی و چشمانداز آینده دادهها نشان میدهد تنها ۵۶ درصد از شرکتکنندگان تجربه قبلی کار با داشتند، اگرچه تقریباً همه از ابزارهای هوش مصنوعی در کارهای روزمره استفاده میکردند. نویسندگان گزارش تأکید میکنند که این نتایج به معنای بیفایده بودن کلی ابزارهای AI نیستند.

آنها به پیشرفتهای سریع این مدلها در ماههای اخیر اشاره کرده و احتمال میدهند که تکرار این مطالعه حتی در سه ماه آینده نتایج متفاوتی به دست آورد. این تحقیق اهمیت ارزیابی مستمر و واقعبینانه ابزارهای هوش مصنوعی در محیطهای تولید واقعی را برجسته میکند، تا سازمانها بتوانند تصمیمات سرمایهگذاری آگاهانهتری بگیرند.