С ухудшением положения в Палестине, особенно после разгрома Бар Кохбы в 130 г., центр еврейской жизни перешел в Вавилонию. По некоторым сведениям около миллиона евреев находилось в то время в этой части мира. Принятие христианства как официальной религии Римской империей после обращения Константина в 312 г. тоже сделало положение евреев в ней трудным. Конечно, зороастрианская династия Сасанидов Персии создавала трудности для евреев, однако после ее разгрома мусульманами в 651 г. положение немного улучшилось: процветали раввинские школы и богатели еврейские купцы.
Интересным религиозным событием среди евреев в Вавилонии было появление в VIII в. нового подхода к толкованию Моисеева закона. Люди этой школы назывались караимами, т. е. сынами Писания. Основателем ее был ученый Анан бен Давид, живший в Багдаде. Он и его последователи полностью отвергли авторитет раввинских толкований в Талмуде. Они учили, что единственным авторитетом должна быть еврейская Библия, особенно Пятикнижие Моисееве.
Караимы, которые впоследствии разделились на много малых групп, не соглашались с послаблениями в соблюдении закона, которые содержались в Талмуде. Так, они были против медицинского лечения, основываясь на словах книги Исхода (15:26): «Я Господь, целитель твой». Хотя движение не было большим, но зато побудило многих ортодоксальных раввинов проверить правильность толкования Слова Божия.
В защиту талмудского иудейства выступил раввин Саадайя бен Иосиф, глава раввинской академии в Вавилонии. Он писал труды, в которых объяснял, что талмудские толкования Писания верны. В доказательство своей правоты Саадайя ссылался на выдержки из Талмуда, сопоставляя их с выдержками из Библии. Кроме того, он старался доказать согласованность талмудской веры с достижениями греческих философов и ученых. С целью лучшего восприятия его аргументов Саадайя перевел еврейскую Библию на арабский язык. Он сделал это ради евреев, которые, живя среди арабов, лучше понимали арабский. Труд его был новой серьезной попыткой гармоничного синтеза еврейского мышления с достижениями человеческого разума.
Так продолжалось до Х столетия, когда новые тюркские правители стали сильно угнетать живших в Вавилонии евреев. По этой причине многие богатые евреи и образованные люди начали переселяться в Испанию, которой в то время правила мусульманская династия Мор. В этой стране в средние века еврейские ученые пережили «золотой век» еврейской науки, религиозной философии и мистицизма.