Es war um das Jahr 330, als Ammon sich in der südlich der Großstadt Alexandria gelegenen Wüste, die Nitria genannt wird, niederließ. Dort schlossen sich ihm mehrere Schüler an. Ammon kannte damals bereits Antonius den Großen, der weiter südöstlich, auf der anderen Seite des Nils, als Einsiedler lebte. Wir wissen nicht, wie oft Ammon den 13-tägigen Fußmarsch zu Antonius zurückgelegt hat, aber er hat ihn sicher mehrere Male besucht. Es wird berichtet, wie Ammon sich auf diesem Weg einmal verirrt hat und dann durch eine wie eine Hand aussehende Wolke von Gott auf den richtigen Weg gewiesen wurde oder auch, wie er von Engeln auf wundersame Weise über den Nil getragen wurde. Auch Antonius hat Ammon besucht.
Abbas Antonius kam einmal, um Abbas Ammon auf dem Berg Nitria zu besuchen, und als sie sich trafen sagte Ammon: “Durch dein Gebet nimmt die Zahl der Brüder zu und einige von ihnen möchten mehr Zellen bauen, in denen sie in Frieden leben können. Wie weit entfernt von hier sollen wir die Zellen bauen?” Antonius antwortete: “Lass uns zur neunten Stunde essen und dann in die Wüste gehen, um die Gegend zu erkunden.” So gingen sie in die Wüste hinaus und wanderten bis zum Sonnenuntergang. Dann sagte Antonius: “Lass uns beten und hier das Kreuz aufstellen, so dass jene, die das möchten, hier bauen können. Wenn diejenigen, die zurückbleiben, jene, die hier leben, besuchen wollen, dann können sie zur neunten Stunde etwas essen und dann kommen. So können alle untereinander in Kontakt bleiben, ohne dass ihre Gedanken abgelenkt werden.” (Apophthegmata Patrum)
Es war also wichtig, dass die Brüder so nah in Kontakt standen, dass sie sich gegenseitig aufbauen konnten, aber doch so weit entfernt waren, dass sie einander nicht störten, das bedeutet, dass sie einander nicht sehen und hören konnten, wenn sie, wie es damals üblich war, laut beteten oder in der Heiligen Schrift lasen. Zugleich sollte der Weg aber nicht zu weit sein, damit sie sich zur gemeinsamen Feier der Eucharistie am Sonntag treffen konnten. Nur wenige der Mönche waren Priester.
In der Einsamkeit kam es auch immer wieder vor, dass einzelne Brüder Fehler begingen. Hier zeigt sich die große Barmherzigkeit der Väter. Denn ihnen lag nicht daran, dass jene, die gefallen waren, aus der Gemeinschaft ausgeschlossen wurden, sondern dass sie Barmherzigkeit erfuhren und so neue Kraft erhielten, in der nächsten Anfechtung standhaft zu bleiben. Dazu gibt es folgende Geschichte über Ammon:
Der Altvater Ammon kam einmal irgendwo hin, um zu essen. Dort befand sich einer, der einen schlechten Ruf hatte. Es begab sich, dass eine Frau daherkam und in das Kellion des Bruders mit dem üblen Ruf ging. Als die Bewohner des Ortes das erfuhren, gerieten sie in Aufregung und taten sich zusammen, um ihn aus seinem Kellion zu vertreiben. Als sie erfuhren, dass Ammon im Ort sei, gingen sie zu ihm und forderten ihn auf, mit ihnen zu kommen. Als der Bruder das merkte, nahm er die Frau und versteckte sie in einem großen Fass. Als nun die Menge eintraf, wusste der Altvater Ammon bereits, was vorgefallen war, doch um Gottes willen verdeckte er die Sache. Er trat ein, setzte sich auf das Fass und ordnete eine Durchsuchung des Kellions an. Aber, obwohl sie sorgsam suchten, fanden sie die Frau nicht. Da sagte der Altvater Ammon: “Was ist das? Gott soll euch vergeben!” Er ließ ein Gebet verrichten und schickte alle hinaus. Dann nahm er den Bruder bei der Hand und ermahnte ihn: “Gib auf dich acht, Bruder!” Nach diesen Worten ging er weg. (Apophthegmata Patrum)
Zu Lebzeiten von Ammon gehörten etwa 500 Mönche zur Gemeinschaft von Nitria und Kellia. Später ging ihre Zahl in die Tausende. Ammon starb vor seinem Freund und Gefährten Antonius, denn es wird berichtet, dass Antonius sah, wie die Seele von Ammon in den Himmel getragen wurde.