Основные представители: Фрэнк Найт (Frank Knight, 1885-1972), Р. Коуз, А. Алчиан, Г. Демсец, О. Уильямсон, К. Менар.
В рамках этой теории фирма рассматривается сквозь призму трансакционного подхода, как сеть контрактов, система обработки и передачи информации, структура по обеспечению экономической власти и контроля над объектами собственности и т. д.
С этой целью в рамках теории экономических организаций был разработан следующий подход к институтам как «созванными человеком ограничениями, которые структурируют политическое, экономическое и социальное взаимодействие».
Критерием эффективности институтов является размер достигнутой, благодаря им минимизации издержек. Таким образом, «институты имеют значение» (institutions matter), т. е. они влияют на результаты функционирования и динамику экономики.
Из этого определения следует, что неоинституционалисты указывают на важность прав собственности. До неоинституционалистов собственность трактовалась как абсолютное право на ресурсы (капитал, труд и т. д.). Согласно неоинституциональному подходу, собственность — это не материальный объект, а совокупность различных прав на осуществление действий (т. е. на использование, получение дохода и пр.) с этими объектами.
В рамках анализа институтов выделяются два уровня: институциональные соглашения и институциональная среда. Институциональные соглашения (или организации) — это договоры между отдельными индивидами, направленные на снижение трансакционных издержек. Одним из примеров институциональных соглашений является фирма, которая трактуется как совокупность контрактных обязательств (а не как производственная функция, из чего исходит неоклассическая теория) ее участников, принятых для минимизации трансакционных издержек. Таким образом, оптимальный размер фирмы достигается тогда, когда трансакционные издержки совершения тех или иных действий внутри фирмы соответствуют трансакционным издержкам осуществления этих же действий через рыночный механизм. Иными словами, соотношение иерархических и рыночных типов координаций (а также выживание тех или иных организационных форм) определяется на основании все того же критерия минимизации трансакционных издержек.
Институциональная среда (или институты в узком смысле слова) — это совокупность «правил игры», т. е. правила, нормы и санкции, образующие политические, социальные и юридические рамки взаимодействий между людьми. Иными словами, институциональная среда — это рамки, в которых заключаются институциональные соглашения. Данные рамки, в свою очередь, подразделяются на неформальные правила игры (обычаи, традиции) и формальные, воплощенные в виде конкретных законов и нормативных актов.
Вначале неоинституционалисты (Р. Коуз, О. Уильямсон и их последователи) концентрировали свое внимание на изучении институциональных соглашений, трактуя институциональную среду в качестве экзогенно заданной. Но в конце 1970-х гг. в рамках неоинституционализма возникло возглавляемое Д. Нортом направление (иногда называемое «подходом Вашингтонского университета»), последователи которого сделали основной акцент на исследовании эволюции институциональной среды во времени и влияния этой эволюции на экономический рост. Институциональные изменения могут возникать спонтанно, за счет стихийного взаимодействия отдельных хозяйствующих субъектов (тогда меняются неформальные правила игры), — и сознательно, под влиянием государства, изменяющего те или иные формальные правила игры. При этом формальные и неформальные правила должны соответствовать друг другу, а значит, должны соответствовать друг другу и их изменения (этот принцип получил название «конгруэнтности институтов»). Например, если государство заимствует формальные правила игры из- за границы, осуществляя «импорт институтов», но эти правила в корне не соответствуют обычаям и традициям, .принятым в данном обществе (примером может служить импорт норм цивилизованного рыночного предпринимательства в мафиозное или традиционное общество), то такое заимствование не будет иметь успеха.
Поскольку неформальные правила игры и их динамика являются важнейшим ограничивающим фактором институциональных изменений, это указывает на такие их свойства, как кумулятивность и эволюционность. Кумулятивность институциональных изменений означает их зависимость от прошлой траектории развития {англ. path dependence): изменения, начавшиеся в некоем направлении, будут продолжаться в будущем все с большей силой. Эволюционность этих изменений указывает на их постепенность и медленность.