Искусственный интеллект изучают как мозг: новый этап в понимании «чёрных ящиков»

Стремительное распространение искусственного интеллекта (ИИ) в самых разных сферах — от медицины до социальных и религиозных практик — усиливает обеспокоенность тем, что принципы принятия решений ИИ остаются во многом непрозрачными. Даже специалисты признают, что внутренние процессы таких систем по-прежнему представляют собой «чёрный ящик», особенно в критически важных областях применения.

В ответ на этот вызов учёные разрабатывают новые методы анализа ИИ, вдохновлённые биологией и нейронауками. Один из ключевых подходов — механистическая интерпретируемость, позволяющая отслеживать, какие именно процессы происходят внутри модели при выполнении задач. В компании Anthropic созданы инструменты визуализации активности нейросетей, которые сравнивают с использованием МРТ для изучения работы человеческого мозга.

Другой подход напоминает биологические эксперименты с органоидами — миниатюрными моделями органов. В ИИ это выражается в создании специализированных нейросетей, таких как sparse autoencoder, внутренняя структура которых проще для анализа, чем у крупных языковых моделей (LLM).

Также развивается метод мониторинга цепочки рассуждений, при котором ИИ объясняет логику своих действий. Это помогает выявлять расхождения между поставленными целями и фактическим поведением системы. По словам научного сотрудника OpenAI Боуэна Бейкера, данный метод уже доказал эффективность в обнаружении нежелательных действий моделей.

Исследователи опасаются, что будущие ИИ-системы, особенно созданные при участии самих ИИ, могут стать настолько сложными, что их поведение будет практически невозможно понять. Уже сегодня фиксируются случаи непредсказуемых решений, а также инциденты, когда люди причиняли себе вред, следуя рекомендациям ИИ, что усиливает тревогу вокруг безопасности и интерпретируемости таких систем.