Synagoga znajdowała się przy ul. Węgierskiej i powstała w XVIII w. Uczęszczali do niej Żydzi ortodoksyjni oraz chasydzi. To oni stanowili większość wyznawców religii mojżeszowej w miasteczku. Niektórzy ocaleni Grybowianie (np. Leon Schagrun), zapamiętali przeciwnie, że tutaj modlili się tzw. postępowi. Na podwórzu kamienicy ślub brała ciotka Jakuba Mullera, przy okazji czego wspomniał też wygląd synagogi. Sam budynek nie był specjalnie atrakcyjny architektonicznie. Dom modlitwy został uszkodzony w momencie wysadzenia pobliskiego mostu kolejowego w 1945 r. Z racji, że do miasta nie wrócił nikt z Żydów na stałe, budynek został rozebrany. Obecnie po starej synagodze pozostała tylko wąskie przejście do dawnego domu modlitwy, nazwane przez Jakuba Mullera „uchem igielnym” – prowadzi ono od Rynku na pusty plac. W miejscu budynku znajduje się wyasfaltowane boisko sportowe. Miejsce ciągle czeka na upamiętnienie.
Synagóga Grybów – Węgierska ulica
Synagóga sa nachádzala pri Węgierskej ul. a pochádzala z 18. st. Dochádzali sem ortodoxní Židia a chasidi. Boli to väčšinou vyznávači mojžišovského náboženstva v mestečku. Niektorí zachránení Grybovčania (napr. Leon Schagrun) si naopak pamätali, že sa tu modlili aj tzv. pokrokoví. Na nádvorí činžiaku sa vydávala teta Jakuba Mullera, pri tejto príležitosti on si spomenul aj podobu synagógy. Samotná budova nebola architektonicky mimoriadne atraktívna.
Modlitebňa bola poškodená, keď v r. 1945 vyhodili do vzduchu neďaleký železničný most. Keďže sa nikto zo Židov do mesta natrvalo nevrátil, budovu zbúrali.
V súčasnosti zostal zo starej synagógy len úzky priechod do bývalej modlitebne, nazvanej Jakubom Mullerom „uško ihly“ – vedie z Trhového námestia na prázdne miesto. Na mieste budovy sa nachádza vyasfaltované športové ihrisko. Miesto stále čaká na pietnu upomienku.