Цей будинок дивної форми існує в Одесі доволі давно, ще з дореволюційних часів. За час свого існування будинок встиг обрости безліччю легенд і домислів, іноді містичних, але частіше просто безглуздих, покликаних пояснити причини такої нетрадиційної планувальної форми будівлі.
Слід зазначити, що неправильну форму має не тільки та ділянка, де збудовано будинок, а й кілька сусідніх з ним по Воронцовському провулку.
У першій половині XIX століття ділянки під нинішніми номерами 4, 6 і 8 мали значно більші розміри і відносилися не до провулку, який тоді ще не був забудований, а до Військового узвозу, що пояснює сучасний неправильний кут повороту кордонів між ними щодо червоної лінії самого провулку.
На той час Військовий узвіз фактично був центральною артерією молодого міста, виходом до моря — до Практичної та Військової гаваней, а також центральною магістраллю для ввезення товарів з порту, що перетинала все місто через Грецький базар (нині однойменна площа), сучасний Олександрівський проспект, площа Старого ринку і далі. У 1820-х роках уздовж дороги, що раніше огинала турецьку фортецю (у лівій частині теперішнього Приморського бульвару), що стояла над урвищем, був прокладений сучасний Воронцовський провулок, до парної сторони якого частково відійшли суміжні з ним ділянки по Військовому спуску.
Забудова, що займала ділянку №4 у 1820—80 роки, навряд чи відносилася до презентабельної, та й сам провулок, незважаючи на дуже високу ціну землі в цьому районі, по суті грав роль задвір парадного Приморського бульвару. Імпозантні будови почали з’являтися тут лише останні десятиліття ХІХ століття.
У середині — другій половині 1880-х років ділянку придбав представник однієї з найуспішніших у тодішній Одесі сімей, що збили капітал на різноманітних грошових операціях, один із семи братів Рафалович — Георгій, фінансист, банкір, співвласник торгового дому «Федор Рафалович і Ко» поряд з двома братами, Олександром та Марком. Крім того, він був консулом, який представляв у різний час в Одесі інтереси Бразилії, Перу та Данії. Він володів також маєтком площею 1812 десятин у Подільській губернії.
Незручна для будівництва форма ділянки, яка дісталася Георгію Рафаловичу, нового власника анітрохи не збентежила. Наприкінці 1880-х архітектор Д. Я. Климов (за іншими даними — Д. В. Тележинський) склав проект великого триповерхового прибуткового будинку, будівництво якого було закінчено вже 1889 року. Квартира домовласника знаходилася тут же. Проживали у будинку та інші члени його родини.
У 1890-х роках тут квартирував Олександр Рафалович, старший із братів, купець 1-ї гільдії, після смерті батька — Федора Рафаловича — з 1882 року голова торгового дому «Федор Рафалович і Ко» та голова правління Бессарабо-Таврійського земельного банку. Після 1897 року у списках мешканців його ім’я не значиться. Сам Олександр Рафалович володів чотирма будинками в Одесі. Інший брат Георгія Рафаловича, Артемій (Артем), мешкав тут 1890—93 року. До середини 1890-х Артемій Рафалович, фінансист і відомий на той час банківський діяч, переїхав із Одеси до Санкт-Петербурга.
Жили за цією адресою та інші визначні люди свого часу. Так, з 1894 року і до смерті 1902 року квартиру в будинку Рафаловича винаймав Борис Юлійович Вітте, голова Одеської судової палати, заступник міського голови, дійсний статський радник. Він був рідним братом Сергія Юлійовича Вітте, колишнього міністра фінансів у 1890-х роках, а згодом з 1903 року і до виходу у відставку 1906 року — головою комітету міністрів Російської імперії. Сергій Юлійович у юності жив в Одесі, любив приїжджати туди в гості і, зрозуміло, бував у цьому будинку.
Рівень орендної орієнтованості будинку не підлягає сумніву: основна частина квартир призначалася для юристів, чиновників, великих торговців — представників вищого сегменту так званого середнього класу і мала значну площу. Враховуючи ці фактори разом з високою ймовірністю неправильних планувань, автор проекту повинен був з особливою відповідальністю підійти до його складання. Жодні відьми чи якісь відомі жінки тут ніколи не проживали, тому назва будинку обумовлена лише його формою.
Прибутковий будинок Рафаловича складається з чотирьох крил, розташованих по периметру ділянки неправильної форми, що нагадує деформовану трапецію. Бічні крила примикають до лицьового під різними гострими кутами таким чином, що з наближенням до обриву над Військовим спуском ділянка розширюється.
Лицьове та бічні крила – триповерхові, тильний флігель має два поверхи (частково був надбудований у 2000-х роках) та розташований з відступом від краю ділянки з боку Військового узвозу, утворюючи невеликий двір-терасу, обгороджену кам’яним парапетом. Доступ туди із основного двору здійснюється через прохідний під’їзд самого флігеля.
Просторий і добре освітлений двір має неправильну планувальну форму — два прямокутники (загалом), поєднані під тупим кутом. Функцію доходного виконувало не тільки лицьове крило, а й бічні, на користь чого свідчить їх планувальна структура та презентабельне, хоча й скромніше, ніж у лицьовому, оздоблення під’їздів.
На перший погляд сувора, але досить гармонійна архітектура будинку типова для рубежу 1880-90-х років. Зовнішність головного фасаду важко назвати незабутнім, проте його архітектурне оздоблення носить характер імпозантної та вишуканої. Протяжність фасаду по червоній лінії — 15 віконних осей, три центральні несуть у собі здвоєні вікна другого та третього поверхів.
Підлегла горизонтальним ритмам композиція фасаду прорізається трьома неглибокими, але виразними ризалітами, два з яких займають по одній крайній осі. Композиційний центр строго симетричного фасаду сходить до центрального ризаліту в три осі завширшки. Центральна вісь як будинку в цілому, так і центрального ризаліту підкреслена високим лучковим прорізом проїзної арки, що веде на подвір’я.
У радянський період своєї історії будинок спіткала доля багатьох інших житлових будинків центру Одеси. Ґрунтовно «ущільнений», перепланований під комунальні квартири будинок десятиліттями не ремонтувався, що, зрозуміло, давно перестало дивувати городян. Проте наймасштабніші негаразди у житті споруди з’явилися вже за пострадянських часів. На початку 2010-х років один із мешканців третього поверху зробив спробу надбудувати свої апартаменти мансардою. Будівельні роботи почалися з аналізу перекриттів горища і даху, на чому вони згодом і завершилися.
У такому стані будинок простояв майже півтора року, по стінах поповзли тріщини. У 2012 році Одесою прокотилася хвиля громадського обурення, пов’язана з початком будівництва на ділянці (№6), що примикає до будинку, що загрожує втратою знаменитої оптичної ілюзії будинку. На хвилі викликаного цим скандалу будинок було включено до списку пам’яток культурної спадщини міста Одеси, на фасаді проведено ретельні реставраційні роботи, а будівництво по сусідству зупинено. Але якщо б не суспільне обурення, «Відьмин будинок» скоріш за все зазнав би подальшої руйнації та був би знесений. Така доля спіткала далеко не один десяток одеських будинків, зокрема і подібних на будинок Рафаловича.
Сьогодні будинок Рафаловича щорічно приваблює тисячі туристів, продовжуючи дивувати непідготовлених людей ілюзією того, що від нього залишилася лише фасадна стіна. У багатьох інших містах іноді можна зустріти подібні будинки, та й для Одеси будівля не є поодинокою: тут будов подібної конфігурації налічується близько десятка, проте «будинок-стіна» у Воронцовському провулку, 4 — найзнаменитіша з них.