Lee er en pedel fra Boston, som vender tilbage til sin hjemby Manchester-by-the-Sea for at tage sig af sin 16-årige nevø Patrick, da hans ældre bror Joe dør. Der bliver han mindet om den fortid, som tvang ham til at bryde med sin kone og det samfund, hvor han er født og opvokset. Sammen må Lee og Patrick tilpasse sig i en verden uden Joe.