Le château ancestral des seigneurs de P. (comm. Pont-en-Ogoz) se dresse sur un éperon rocheux dominant la rive gauche de la Sarine. Il tient son nom de l'ouvrage qui enjambait la rivière, aujourd'hui englouti. Les vestiges de la forteresse originelle à trois tours et la chapelle Saint-Théodule à son pied se trouvent depuis 1948 sur une petite île du lac de retenue de la Gruyère.
Pierre, premier représentant documenté de la famille, fut témoin en 1105, dans la salle du chapitre cathédral de Lausanne, de la donation de l'église de Blonay à Robert, abbé de Molesme et fondateur de Cîteaux, par l'évêque Gérold de Faucigny. Ulrich est mentionné en 1136/1137 comme témoin lors de la fondation de l'abbaye prémontrée voisine d'Humilimont. Les P. furent des bienfaiteurs importants de l'abbaye cistercienne d'Hauterive, dès sa fondation en 1138 par Guillaume de Glâne; ils y étaient enterrés dans la chapelle Saint-Sébastien. Entre 1218 et 1231, ils fondèrent une ville au sud-est de leur château. Biens allodiaux, les droits et les revenus des P. n'appartinrent jamais à un seul d'entre eux, mais étaient répartis entre tous les membres de la famille. En 1250, Guillaume, Jacques, Pierre et Josselin cédèrent leurs alleux au comte Pierre II de Savoie qui les leur remit en fief. En 1452, la famille avait perdu ses propriétés. Les P. comptèrent un grand nombre de dignitaires ecclésiastiques, dont Pierre, évêque de Belley (1240), deux abbesses cisterciennes, Jordane à Fraubrunnen (1296-1302) et Marguerite à La Maigrauge (1425-1441), Aymon, prieur clunisien à Romainmôtier (1288-1303), à Saint-Alban à Bâle (1304-1312) et à Saint-Victor à Genève (1314), ainsi que sept chanoines du chapitre de Lausanne. Les derniers représentants documentés sont les enfants de Guillaume: Claude, Jaquemete et Pernette, mentionnés en 1463.