История формирования библиотечного собрания с самого начала была неразрывно связана с историей создания и существования Академии Художеств. Начиная с первого академического Устава, дарованного Екатериной Великой в 1764 году, Академии надлежало иметь специальную публичную библиотеку, которую мог бы посетить каждый интересующийся историей искусства.
В Уставе было записано: «Академии иметь публичную библиотеку, при которой содержать из числа академиков искусного библиотекаря, дозволяя и посторонним в означенные часы входить в оную и пользоваться как чтением книг, так и выписыванием всего, что каждый найдет для себя нужного или по любопытству своему примечания достойного».

Библиотека располагается в четырех залах, в два из которых возможно попасть только во время экскурсии. Один из них - Парадный зал, посвященный Августейшему президенту академии Великому Князю Владимиру Александровичу. Сейчас здесь проходят ученые советы и официальные мероприятия Академии Художеств. Второй - архивный для хранения книг, рукописей, чертежей и рисунков.

Библиотека примечательна как собранием редчайших экземпляров изданий, так и интерьерами - двухярусной деревянной системой хранения, шкафами, спроектированными под декоративное убранство залов и библиотечной раритетной мебелью.