OpenAI представила свежие результаты исследования, в рамках которого был разработан новый бенчмарк под названием SimpleQA. Этот инструмент призван оценить точность ответов, предоставляемых как её собственными, так и конкурентными моделями искусственного интеллекта. Итоги оказались неутешительными: даже самый современный алгоритм компании, известный как o1-preview, смог продемонстрировать лишь 42.7% правильных ответов. Это свидетельствует о том, что современные крупные языковые модели (LLMs) чаще вводят в заблуждение, чем предоставляют достоверную информацию.
В то же время, модель Claude-3.5-sonnet от компании Anthropic показала ещё более скромные результаты — лишь 28.9% правильных ответов. Однако стоит отметить, что эта модель более склонна к самокритике: она чаще признаёт свою неуверенность и отказывается давать ответ, когда не уверена в его корректности. Такой подход может оказаться более предпочтительным, чем предоставление потенциально ошибочной информации.
Исследование также выявило интересный феномен: многие языковые модели переоценивают свои способности и выдают уверенные, но неверные ответы. Это усугубляет проблему так называемых «галлюцинаций», когда ИИ генерирует фактически неверные данные, выдавая их за правду. Такие случаи могут вводить пользователей в заблуждение и подрывать доверие к технологиям искусственного интеллекта.
В условиях стремительного развития технологий важно помнить о необходимости критического подхода к информации, которую предоставляет ИИ. Пользователям следует быть внимательными и проверять факты, полученные от таких систем, особенно когда речь идет о важных или чувствительных темах. В конечном итоге, несмотря на все достижения в области искусственного интеллекта, точность и надежность остаются на первом месте.
