根據教會歷史學家Iraneus (2世紀)、 Origen (3世紀)、Epiphanius和Eusebius (4世紀),還有Jerome (5世紀)的說法,猶太基督教社團有他們自己的希伯來文福音書(或者是阿拉姆語,這是耶穌所講的語言),這有點激動人心,因為現在新約里的福音書並非用希伯來文或者阿拉姆語寫成。它們是希臘語Koine方言寫成的,這種語言是東羅馬帝國的通用語言(所以Mel Gibson在電影Passion of the Christ里堅持讓羅馬士兵和比拉多講拉丁文是不對的)。
我們現在並沒有以便尼聖貧會福音書的全部,這些福音書和其它所謂的異端邪說在4世紀就被教會禁止流通,我們現在可以看到一些倖存的經外書如《克萊門汀布道》(Clementine Homilies)和《克萊門檢別》(Recognitions of Clement)。這些文獻被學者們稱之為偽克萊門汀著作(pseudo-Clementines),是以便尼聖貧會關於早期基督教的記錄。它們偽托是出自克萊門(Clement)之手,克萊門是第一個羅馬主教——即第一個天主教教宗。令人稱奇的是以便尼聖貧會相信克萊門反對保羅,而保羅是現代基督教的奠基人。
根據早期正統基督徒的記載正直者雅各—耶穌之弟,並不吃肉,也不喝酒。同樣以便尼聖貧會信徒也不吃肉,不喝酒,他們在儀式中以水代替酒,他們用這種行為表明自己是雅各的真正追隨者,而雅各是耶穌的弟弟,耶穌指定的繼承者。正如聖經學者Robert Eisenman在他的經典著作《雅各,耶穌之弟》(James the Brother of Jesus)中所指出:「雅各所言所行,一如耶穌基督。」