With most computer programs—even complex ones—you can meticulously trace through the code and memory usage to figure out why that program generates any specific behavior or output. That's generally not true in the field of generative AI, where the non-interpretable neural networks underlying these models make it hard for even experts to figure out precisely why they often confabulate information, for instance.
Now, new research from Anthropic offers a new window into what's going on inside the Claude LLM's "black box." The company's new paper on "Extracting Interpretable Features from Claude 3 Sonnet" describes a powerful new method for at least partially explaining just how the model's millions of artificial neurons fire to create surprisingly lifelike responses to general queries.
Opening the hood
When analyzing an LLM, it's trivial to see which specific artificial neurons are activated in response to any particular query. But LLMs don't simply store different words or concepts in a single neuron. Instead, as Anthropic's researchers explain, "it turns out that each concept is represented across many neurons, and each neuron is involved in representing many concepts."
The original Counter-Strike mod is 25 years old, Valve calls it 'the greatest videogame ever made'
There is an early power up in Elden Ring: Shadow of the Erdtree that basically turns the game into Sekiro, but the description is so vague I didn't realize how good it was until 40 hours later
На смартфоны выйдет игра Too Hot to Handle 3 по реалити-шоу «Испытание соблазном»
Model viewer forensics reveal that Elden Ring: Shadow of the Erdtree's Dancing Lion boss is actually two little guys piloting it around
Новый рекорд России: медитация Relax FM объединила 1699 человек
Филиал № 4 ОСФР по Москве и Московской области информирует:
Более 12 тысяч жителей Москвы и Московской области получают повышенную пенсию за работу в сельском хозяйстве
Жители каких городов-миллионников могут позволить себе семейную ипотеку?
Жители каких городов-миллионников могут позволить себе семейную ипотеку?
Филиал № 4 ОСФР по Москве и Московской области информирует:
В Московском регионе более 62 тысяч семей распорядились материнским капиталом через банки
Филиал № 4 ОСФР по Москве и Московской области информирует:
Более 12 тысяч жителей Москвы и Московской области получают повышенную пенсию за работу в сельском хозяйстве
Объявлены итоги XIII конкурса «Вместе в цифровое будущее»: лидируют темы ИИ, кибербезопасности граждан и цифровизации отраслей народного хозяйства