Двоповерхову будівлю палацу князя Гагаріна, в якої розміщений Одеський літературний музей, побудовано наприкінці 1850-х – початку 1860-х рр. Будівля поєднує зовнішню простоту класичного фасаду з профільованими фронтонами з еклектичною пишністю інтер’єру.

У оформленні парадного залу музею використані ліпні декоративні покриті позолотою елементи. Це головний «меморіальний» зал музею. У 1899 р. тут розмістилося Одеське літературно-артистичне товариство, членами якого були І.О. Бунін, М.Л. Кропивницький, В.М. Дорошевич, К. Чуковський і В. Жаботинський, в 1900. р виступали М.Л. Кропивницький і М.К. Заньковецька. У вітринах експозиції залу представлені численні матеріали, присвячені історії становлення українського і російського театрів. Зараз, віддаючи данину добрій традиції, у Золотому залі проводяться літературно-музичні вечори, творчі зустрічі, виставки, виступають письменники, проходять міжнародні літературні фестивалі.

Експозиція залу присвячена усній народній творчості півдня України і початку літературної історії Одеси. У оформленні залу символи моря, степу і народного мистецтва є сусідами з образом нового міста, що активно будується.

Інтер’єр залу нагадує дворянські літературно-аристократичні салони, якими славилася Одеса у 20-х роках XIX сторіччя. Ці роки відзначені приїздом до нашого міста Пушкіна, Батюшкова, Гнєдича, Жуковського і Міцкевича.

Зал оформлений у вигляді книжкової крамниці, що стали популярними у місті того часу. В ці роки в Одесі побували письменники Микола Гоголь, Микола Надєждін, Яків Полонський, Юзеф Ігнацій Крашевський і Теодор Томаш Єж.

Експозиція залу оповідає про події суспільного і літературного життя Одеси 1850-60-х рр. XIX сторіччя. Літературний літопис Одеси збагатили імена письменників Л.М. Толстого, О.К. Толстого, І.С. Аксакова, М.О. Добролюбова, а М.І. Пирогов в ці роки очолював Одеський навчальний округ.

Експозиція залу присвячена письменникам, що вважаються надбанням російської, української, єврейської, вірменської, латиській культури. Володимир Короленко, Іван Нечуй-Левицький і Петро Ніщинський, Дніпрова Чайка і Микола Гарін-Михайловський, Менделе Мойхер-Сфорім і Шолом-Алейхем, Аветік Ісаакян і Олександр Ширванзаде, Андрій Пумпур і Гліб Успенський – усі вони творили тут.

Експозиція залу, що присвячений розвитку журналістики та книговидання в Одесі, виконана у вигляді фотоколажа та атрибутів репортерської професії. У цей час в Одесі працювали Влас Дорошевич, Корній Чуковський, О.М. Дерибас, С.Т. Герцо-Виноградський. А книги одеської друкарні Ю.І. Фесенка були відомі далеко за межами нашого міста.

«Мисливська кімната» прикрашена пілонами з рельєфними капітелями і барельєфним фризом з зображеннями хижих птахів і головами мисливських собак, а її експозиція розповідає про неодноразові приїзди до Одеси і перебування в нашому місті знаменитих письменників А.П. Чехова, О.І. Купріна і І.О. Буніна.

У оформленні залу поєднуються образи великого морського передреволюційного міста і нелегкого життя його населення. Експозиція розповідає про перебування у нашому місті Лесі Українки, Михайла Коцюбинського, Івана Франка, Максима Горького, Лазаря Кармена та інших письменників цієї епохи.

«Трикутна кімната» оформлена відповідно стильовій різноманітності, на яку був багатий початок ХХ сторіччя, а вітрини відображають відвідування Одеси такими письменниками як Леонід Андрєєв, Анна Ахматова, Микола Гумільов, Костянтин Бальмонт, Андрій Білий, Саша Чорний, Ігор Северянин, Володимир Маяковський, Давид Бурлюк та ін.

Зародження і розвиток одеської південно-західній літературної школи за часів революції і громадянської війни – ось головний мотив експозиції цього залу. Літературні об’єднання Одеси зіграли чималу роль в становленні таких письменників як Юрій Олеша, Едуард Багрицький, Валентин Катаєв.

Експозиція залу, що розповідає про розквіт південно-західної літературної школи, присвячена Ісааку Бабелю, Іллі Ільфу і Євгену Петрову, Костянтину Паустовському та знаменитій газеті «Моряк», Вірі Інбер, частому гостю Одеси та члену «Колективу поетів» Володимиру Сосюрі.

Фотоколаж на стіні переносить нас у суперечливу атмосферу «буднів великих будівництв» і великого терору. У ці роки з’являються літературні об’єднання «Юголеф», «Потоки Жовтня», «Гарт», «Молода гвардія», «Верстат», а активними учасниками літературного життя Одеси стають Едуард Багрицький, Семен Кірсанов, Леонід Недоля-Гончаренко, Сергій Бондарін і інші письменники.

«Зал приїздів», вітрини якого оформлені у вигляді вікон поїзду, присвячений письменникам 20-30 рр. XX сторіччя, яких прийняли і полюбили у нашому місті, серед них – Павло Тичина, Остап Вишня, Борис Лавреньов, Максим Рильський, Всеволод Іванов і Борис Пильняк, Муса Джаліль, а також художник-модерніст Михайло Жук.

В оформленні використані елементи сцени і кінозалу: завіса, подіум, піаніно, умовний кіноекран, а експозиція залу розповідає про зв’язки літератури з театром і кінематографом, про діяльність одеської Держдрами і Одеської кінофабрики і про діячів театру та кіно, які творили в Одесі у ці роки: Іван Микитенко, Микола Куліш, Лесь Курбас, Олександр Довженко, Юрій Яновський.

Червоно-чорне оформлення залу, де домінує величезний фотоколаж з фрагментів творів великих іспанських художників Ель Греко, Гойї, Пікассо, відображає неспокійну атмосферу 30-х років XX сторіччя, наближення фашизму і репресій.

Епіграфом залу, що завершує експозицію другого поверху, є слова популярної пісні на слова С. Кірсанова «Есть город, который я вижу во сне…». Творчість письменників, які народилися в Одесі або в різний час побували у місті біля моря, яскраво і багатогранно відбилася в культурному житті.

В оформленні залів, що присвячені обороні, окупації і звільненню Одеси, використані фотозбільшення, монументальний розпис і реліквії воєнних років: протитанкові їжаки, солдатські фляги. В обложеної Одесі побували К. Симонов, Л. Соболєв, С. Бондарін, Г. Поженян, К. Паустовський, С. Михалков, І. Френкель, в окупованому місті виявився Генріх Белль.

Зал, присвячений болгарській літературі, оформлений традиційним національним орнаментом, фотоколажами з видами старої Одеси і Болгарії початку ХХ століття. В Одесі жив Георгі Стойков Раковський, вчилися Христо Ботев, Іван Вазов і Алеко Константинов. А після революції Болгарія стала новим домом для одеського письменника Олександра Федорова, художника Петра Нілуса, історика Петра Біциллі.