В годы, последовавшие за взятием Иерусалима в 1099 г., многие из участников Первого крестового похода вернулись на Запад или погибли, а созданные ими на Востоке новые государства крестоносцев не имели достаточного количества войска и умелых полководцев, способных должным образом защищать границы новых государств. В результате паломники, каждый год являвшиеся на поклон к палестинским святыням, часто подвергались нападениям грабителей или мусульман, а крестоносцы были не способны обеспечить им должную охрану. Приблизительно в 1119 г., французский дворянин Гуго де Пейн, собрал восемь своих родственников-рыцарей, включая Годфруа де Сент-Омера, и учредил орден, поставив себе цель защитить пилигримов в их паломничествах по святым местам на Ближнем Востоке. Свой орден они назвали «Нищие рыцари». О деятельности ордена, как и вообще об ордене мало кто знал вплоть до Собора в Труа в 1128 г., на котором орден был признан официально, а священнику святому Бернару Клервоскому поручили разработать его Устав, в который были бы сведены основные законы ордена. Средневековый историк Вильгельм, архиепископ Тирский, канцлер Иерусалимского королевства, историк — один из крупнейших в средние века, в своём труде документирует процесс создания ордена :

    «В том же году несколько благородных рыцарей, людей истинно верующих и богобоязненных, выразили желание жить в строгости и послушании, навсегда отказаться от своих владений и, предав себя в руки верховного владыки церкви, стать членами монашеского ордена. Среди них первыми и наиболее знаменитыми были Гуго де Пейн и Год фру а де Сент-Омер. Поскольку у братства не было пока ни своего храма, ни жилища, король предоставил им временное убежище у себя во дворце, построенном на южном склоне Храмовой горы. Каноники стоявшего там храма на определенных условиях уступили часть обнесенного стеной двора для нужд нового ордена. Более того, король Иерусалимский Болдуин II, его приближенные и патриарх со своими прелатами сразу обеспечили ордену поддержку, выделив ему некоторые из своих земельных владений — одни пожизненно, другие во временное пользование — благодаря чему члены ордена могли бы получать средства к существованию. В первую очередь им было предписано во искупление своих грехов и под руководством патриарха „защищать и охранять идущих в Иерусалим паломников от нападений воров и бандитов и всемерно заботиться об их безопасности“
В самом начале своей деятельности ордену предписывалось только охранять паломников и первые рыцари ордена образовывали нечто вроде братства мирян. Орден составлял группу рыцарей на службе храма Гроба Господня.

Правитель иерусалимского королевства Болдуин II выделил на юго-восточном крыле иерусалимского храма, в мечети Ала Акса место под штаб-квартиру. А Бернар Клервоский, разработавший Указ ордена рыцарей храма стал и патроном ордена.
Тамплиеры, присутствовавшие на Соборе в Труа, развернули во Франциии в Англии активную и успешную кампанию по вербовке в орден, для чего большая их часть, следуя примеру Годфруа де Сент-Омера, отправилась на родину. Гуго де Пейн посетил Шампань, Анжу, Нормандию и Фландрию, а также Англию и Шотландию. Помимо множества неофитов, орден получил щедрые пожертвования в виде земельных владений, что обеспечило ему стойкое экономическое положение на Западе, особенно во Франции, и подтвердило его первоначальную „национальную“ принадлежность — орден считался французским. Однако очень скоро идея присоединения к этому духовно-рыцарскому ордену захватила также и Лангедок, и Пиренейский полуостров, где близость враждебно настроенных мусульман заставляла местное население возлагать надежды по защите на крестоносцев. Каждый дворянин, вступавший в орден давал обет нищеты, а его имущество считалось собственностью всего ордена.

29 марта 1139 г. папа Иннокентий II издал буллу, названную им Omne Datum Optimum, в которой говорилось, любой тамплиер мог пересекать свободно любую границу, освобождался от налогов, и не подчинялся никому, кроме самого папы римского.