
AI CFA

CFA – один из самых уважаемых сертификатов в области инвестиций. Он подтверждает высокий уровень профессионализма его держателя. В среднем, пройти его успешно получается у 40%-60% кандидатов. Те, у кого это получается, могут рассчитывать на гораздо более высокие заработки: на 30%-50% выше, чем у коллег, не имеющих CFA.


Модели экзаменовались при помощи нескольких техник составления запроса, однако самые передовые техники не использовались. Итак, каковы же результаты? С наилучшими техниками ChatGPT правильно отвечает на 63% вопросов первого уровня и 48% - второго. Для GPT-4 эти значения составляют 75% и 61% соответственно.
Повторимся, что процедуру вынесения окончательного вердикта организатор держит в тайне, и порог прохождения экзамена немного колеблется год от года. Но, сформулировав наиболее правдоподобные условия, исследователи получили, что СhatGPT в состоянии пройти первый уровень сертификации. GPT-4 проходит оба тестировавшихся уровня.
Прежде чем открывать шампанское

Во-вторых, существенная часть ошибок приходится на арифметические расчеты. Причем для более осведомленной модели GPT-4 эта доля выше, т. к. она делает меньше ошибок в теории. Решения этой проблемы проработаны еще лучше, чем для табличной информации, и внедрение некоторых из этих решений могло бы еще сильнее улучшить результат GPT-4.
Итак, пора ли инвестиционным аналитикам обращаться за пособием по безработице? «В то время как экзаменация с тестами и письменными ответами в свободной форме остаётся отличным путём проверки образования и понимания в среде с гарантированным контролем, ежедневная работа в финансах не сводится только к последовательности коротких, отдельно взятых вопросов», — заявляет Крис Визе, управляющий директор по образованию CFA Institute.
Другими словами, то, что проверяет экзамен CFA и то, что должен делать на работе инвестиционный аналитик — это две большие разницы. И экзамен CFA проверяет то, что проверяет, потому, что проверять такое легко. «Ищут там, где светло, а не там, где потеряли».

Соответственно, исследователи оценивают способности языковых моделей, идя вслед за образовательным институтом по пути наименьшего сопротивления. Получается, что такие оценки не очень репрезентативны для понимания перспектив автоматизации рабочих мест.
Впрочем, можно утешить себя тем, что они не более и не менее репрезентативны, чем сертификация CFA для людей. И в этом не очень репрезентативном бенчмарке машины уже не уступают людям.
Поэтому последнее слово здесь должно быть за работодателями. Работодатели, в свою очередь, сейчас настроены довольно трезво. И одновременно конструктивно. Большие языковые модели практически везде рассматриваются как инструмент, повышающий производительность труда аналитика. А не как полноценная его замена. Интересные кейсы можно посмотреть здесь и здесь.
А мы пока подождем следующее, более сильное поколение моделей. Потому что если имеющийся тренд продолжится — обладателям CFA будет всё сложнее оправдывать свое присутствие в платежных ведомостях инвестиционных фирм.
_______________________________________________________________
|
</> |