Библиотека Академии наук была основана в 1714 г. царем Петром I. До нас не дошло никакого правительственного акта об учреждении библиотеки. Однако об этом сохранилось свидетельство в книге первого русского историка Петербурга, хранителя русского книжного фонда Библиотеки Андрея Ивановича Богданова (1696–1766). Описывая первые библиотеки Санкт-Петербурга, он назвал Библиотеку Императорской Академии наук одной из самых ранних и главных, которая «…начала собиратися по всевысочайшему указу государя императора Петра Великого с 1714 года, а в императорскую Академию наук соединена 1724 года».

При организации подобного учреждения ставилась цель обеспечить доступ к книгам всем грамотным людям государства, стремящимся к европейской образованности. Фонды библиотеки были многоязычными и универсальными.

В Летний дворец были привезены три собрания – книги Аптекарского приказа из Москвы, Готторпская библиотека и, так называемая, библиотека Курляндских герцогов. Фонд насчитывал около 2 000 книг на русском и многих европейских языках.

В 1718 г. Библиотека была размещена в «Кикиных палатах», в каменном доме казненного деятеля петровского времени А. В. Кикина. С этого времени Библиотека стала принимать посетителей.

Первым директором Библиотеки был лейб-медик Петра Первого Роберт Карлович Арескин, который назначил советника Медицинской канцелярии Иоганна Даниеля Шумахера библиотекарем с тем, чтобы тот систематически занимался пополнением фондов библиотеки его величества в Летнем дворце.

В 1728 г. Библиотека была открыта для посетителей в новом здании на Васильевском острове. В этом здании Академия наук помещалась до 1787 г., Библиотека – до 1924 г., а Кунсткамера находится и поныне. Приоритетное право пользоваться Библиотекой после 1728 г. было закреплено за академиками, но ее могли посещать также и другие образованные люди. Такой режим доступа в Библиотеку сохранялся до 70-х гг. XVIII в.

Первоначальный фонд Библиотеки, учтенный и неучтенный в первом печатном каталоге «Bibliothecae imp. Petropolitanae, p. 1–(4). St.Pbg., [1741–1744], насчитывал около 16 тысяч книг на русском и всех европейских языках. В каталоге не были учтены книги на греческом языке, славянских языках и издания самой Академии наук, которые хранились не в библиотеке, а в специальном помещении. Только в 1746 г. после доклада И.К. Тауберта последовал указ императрицы Елизаветы Петровны о бесплатной передаче академических изданий в фонд Библиотеки.

В XVIII в. выделялись существенные средства на приобретение литературы для пополнения книжных фондов и на библиотечные работы. Наряду с текущими поступлениями пополнение фондов академической библиотеки осуществлялось за счет даров и покупки отдельных книжных собраний и книг. Пополнению фондов Библиотеки содействовали многие выдающиеся российские ученые и государственные деятели: М. В. Ломоносов, Г. Ф. Миллер, В. Н. Татищев, С. К. Котельников.

С 1747 г. Библиотека стала получать обязательный экземпляр всех академических изданий; с 1783 г. – обязательный экземпляр всех выходящих в России изданий.

В 1818 г. президент Академии наук С. С. Уваров принял меры к пополнению фондов и упорядочению их использования. Библиотека была разделена на две части – из книг «на славянском и российском языках» и «из книг на всех прочих языках». Более столетия главная Библиотека Академии наук состояла из двух самостоятельных подразделений – I (Русское) отделение и II (Иностранное) отделение.

В первой половине XIX в. из библиотек при научных учреждениях Академии начала создаваться сеть специальных академических библиотек. Первыми в нее вошли библиотеки Архива (1800 г.), Обсерватории (1804 г.), Нумизматического кабинета (1804–1806 гг.), Ботанического сада (1809 г.); библиотеки при академических музеях: Азиатском, Ботаническом, Зоологическом; обществах: Минералогическом, Географическом; при лабораториях: Химической (1881 г.), Физиологической (1889 г.), Анатомии и физиологии растений (1890 г.), Особой зоологической (1894 г.), при Главной физической обсерватории и др. Центральная и научные библиотеки исследовательских учреждений расширяли международные связи и укрепляли авторитет академической библиотеки. К концу XIX в. насчитывалось 15 специальных академических библиотек.

К концу 80-х гг. XIX в. организуется Славянский отдел, в котором было сосредоточено около 10 тыс. томов; до конца века эта цифра возросла в несколько раз. Собрание славянских книг в Петербургской академической библиотеке считалось богатейшим в мире.

В конце 1880-х гг. Библиотека получила все историческое здание Кунсткамеры. Однако Академия вновь начала хлопотать о строительстве библиотечного здания, которое и было построено спустя два десятилетия. 9 октября 1925 г. в дни празднования 200-летнего юбилея Академии наук состоялось официальное открытие Библиотеки в новом здании на Биржевой линии, д. 1

С 1932 г. в библиотечную сеть Академии наук вошли библиотеки ее периферийных баз и филиалов в Европейской части страны, Сибири и на Дальнем Востоке. В 1934 г. было создано особое отделение библиотеки, названное Московским отделением Библиотеки Академии наук (МОБАН). В 1973 г. на базе МОБАН была создана Библиотека по естественным наукам (БЕН АН СССР), которая получила статус самостоятельной библиотеки АН.

С начала 1930-х гг. Библиотека становится академическим хранилищем рукописной и старопечатной книги.

Весь период войны и Ленинградской блокады в Библиотеке работали абонемент и читальный зал, создавались передвижные библиотеки для ленинградских дивизий народного ополчения, для воинских частей и госпиталей. Библиотека обслуживала не только ученых Академии, остававшихся в блокадном городе, но и работников оборонных предприятий, военнослужащих, врачей. Сотрудники Библиотеки продолжали устраивать выставки литературы, лекции, вели справочно-библиографическую работу. Библиотекари продолжали работу по обеспечению сохранности своих ценных книжных собраний, а также проводили в блокадном городе разыскание и спасение оставшихся без присмотра частных коллекций и библиотек.

В военную пору в фонды Библиотеки поступили книжные собрания уехавших или умерших ученых: академика С. А. Жебелёва по истории античного мира, академиков П. К. Коковцева и Ф. И. Щербатского по востоковедению. Некоторые коллекции были переданы в научные библиотеки академических институтов.

В ночь с 14/15 февраля 1988 г. произошёл самый разрушительный в истории Библиотеки пожар . Только в 1994 г. сотрудники завершили документальную проверку фондов, составили списки утрат, списки книг, подлежащих списанию, списки на восполнение фондов и продолжили обслуживание читателей в прежнем режиме.

Уникальность: С 1725 по 1728 г. в Библиотеку по реестрам были переданы книги из личного собрания Петра Первого и книги кремлевской царской библиотеки. В числе поступлений XVIII в.: книги, приобретенные за границей И. Д. Шумахером, Несвижская библиотека польских магнатов Радзивиллов, книги шведского короля Густава III, библиотека и кабинет редкостей сподвижника Петра генерал-фельмаршала Я. В. Брюса, книги царевича Алексея Петровича – сына Петра I; поступали и более мелкие собрания, как, например, рукописи, присланные в Библиотеку В. Н. Татищевым; книги А. В. Макарова, П. П. Шафирова, Г. Поликолы, А. Б. Крамера, И. В. Паузе, Г. Ф. Юнкера, Г. З. Байера, Д. Г. Мессершмидта, библиотеки Г. Пашке, А. Ф. Хрущева, К. Менгдена, М. Г. Головкина, Б. Х. Миниха, И. Аммана, И. А. Корфа, Р. Санчеса (Саншеса), Ж. Н. Делиля, Х. Н. Винсгейма, И. Ф. Шрейбера и др.