ChatGPT не зміг зрозуміти більш як половину з 517 питань зі Stack Overflow



Дослідники з Університету Пердью у США виявили, що 52% всіх відповідей ChatGPT у сфері програмування є неправильними. Про це повідомляє TechRadar.

Дослідники проаналізували 517 запитань зі Stack Overflow. Їх поставили безплатній версії ChatGPT 3.5 та порівняли відповіді з тими, які дають люди.

Експерти перевірили помилки штучного інтелекту та виявили, що 54% із них трапилися через те, що ChatGPT неправильно зрозумів контекст. 36% відповідей мали фактичні неточності, 28% – логічні помилки. Ще 12% відповідей містили термінологічні помилки.

У деяких відповідях ChatGPT допускав декілька помилок, наприклад, відповідь містила логічну помилку (28%) через неправильно сприйнятий контекст (54%).

Дослідники також критикують ChatGPT за надмірно довгі та складні відповіді, які містять більше деталей, ніж потрібно. Це призводить до потенційної плутанини та відволікання уваги. Однак, за результатами опитування 12 програмістів, третина з них віддали перевагу чітким і схожим на підручник відповідям ChatGPT.

“Оскільки ChatGPT дає велику кількість неправильних відповідей, наші результати підкреслюють необхідність обережності та обізнаності щодо використання відповідей ChatGPT у завданнях програмування”, – підсумовують автори дослідження.

Джерело https://mezha.media/2024/05/28/chatgpt-wrongs-code-study/

Найкраще відповідні на питання "що краще вивчати-ШІ чи програмування?" можна дати, коли є власні навички роботи з даними технологіями, тоді відповідь приходить сама собою, на рівні "інтуїції", оскільки проблема зрозуміла зсередини.

На факультеті ФІІТА використовують комплексний підхід - вивчається як програмування, так ШІ. Спілкування зі стейкхолдерами показує, що у ІТ-галузі використовується подібний підхід, як найбільш ефективний. Практика показує, що технології можуть розвиватись непередбачувано і їх розвиток не завжди відповідає очікуванням, тому багато фахівців рекомендують використовувати підхід "золотої середини" при вивченні технологій. 



 

 

опублік. Кулик Ярослав Анатолійович