Istnieją dwie wersje pochodzenia nazwy miejscowości. Jedna powiada, że wywodzi się ona od pruskiego słowa kal - góra, druga, że od polskiego kalina. Osada mogła tu istnieć już od czasów jaćwieskich, gdyż na starym cmentarzu znaleziono tak zwaną babę "kamienną".
Niemiecki biograf Olecka podaje jako datę założenia wsi rok 1539, przeczą temu jednak wzmianki znajdujące się w starych dokumentach. Wiadomo mianowicie, że w 1499 roku proboszcz z Kalinowa toczył spór z proboszczem z Juchy o wieś Kleszczewo oraz że w 1529 roku istniała w Kalinowie szkółka parafialna. Należy więc przypuszczać, ze Kalinowo powstało nie później niż w latach dziewięćdziesiątych XV wieku.
W 1561 roku książę Albrecht nadał dąbrowę w Kalinowie wraz z łąką Stanislawowi Sówce. W XVII wieku w całej okolicy mieszkali tylko Polacy.
Kalinowo zostało splądrowane w czasie najazdu tatarskiego w 1656 roku. Wielu mieszkańców wraz z proboszczem Baranowskim uprowadzono w jasyr. W czasie epidemii dżumy w latach 1709-1711 w parafii Kalinowie zmarły 633 osoby.
W XVIII wieku w Kalinowie odbywały się cztery razy do roku jarmarki, znane nie tylko w okolicy, ale i w Polsce. W połowie XVIII wieku wieś miała trzydzieści osiem domów, w 1835 roku liczyła 300 mieszkańców, w 1900 roku już 590 mieszkańców, a w 1939 roku - 661 mieszkańców. Do 1928 roku urzędowa nazwa wsi brzmiała Kallinowen. W tymże roku zmieniono ją na Dreimühlen.
Pierwszy kościół zbudowano tu zapewne wkrótce po założeniu wsi. Spłąnął on w czasie najazdu Tatarów. W 1666 roku kościół odbudowano. Był drewniany, podobny do istniejącego do dziś w Ostrykole. Wielkorotnie restauroway, spłąnął w czasie I wojny światowej. Obecny kościół wzniesiono w 1924 roku.
Parafia kalinowska należała do najbardziej polskich okręgów na Mazurach. Do pierwszej wojny światowej nawet oficjalne statystyki wykazywały tu przewagę elementu polskiego. I tak w 1834 roku na 3625 parafian było zaledwie 239 Niemców, w szkole uczyło się wówczas 538 dzieci polskich i 95 niemieckich. W 1901 roku na 5244 parafian było 1400 Niemców, a w 1912 roku, kiedy liczba parafian spadła do 3600, liczono 660 Niemców. Oznacza to, że zaledwie 18,3% ludności parafii kalinowskiej znało wówczas język niemiecki.
W Kalinowie urodził się Bernard Rostock-Rostowski (1690-1759) autor popularnej na Mazurach pieśni żniwnej "Pola już bziałe" oraz tłumacz pieśni religijnych na język polski. Po ukończeniu studiów był on przez dwa lata zastępcą kierownika szkoły w Ełku, później w latach 1712 - 1739, kaznodzieją, a wreszcie proboszczem w rodzinnym Kalinowie.
Z historią Kalinowa łączy się nierozerwalnie postać innego pastora, proboszcza tutejszego w latach 1780 - 1798 - Michała Pogorzelskiego, poety, pieśniarza, społecznika i wielkiego oryginała.
Pogorzelski, urodzony w 1737 roku w Lepakach, małej, ubogiej wiosce w parafii grabnickiej, jako syn wolnego kmiecia, był Mazurem z krwi i kości. Jego przodkowie przybyli do Prus Książęcych za czasów króla Zygmunta Starego i osiedlili się zapewne w Pogorzeli Wielkiej w starostwie piskim i od tej wsi przyjęli nazwisko. W wiekach XVII i XVIII było na Mazurach kilku kaznodziejów z tej rodziny.
Michał Pogorzelski zdradzał od najmłodszych lat duże zdolności. Zainteresował się nim i zaopiekował Paweł Krzysztof Drygalski, superintendent w Stradunach. Dzięki niemu przyjęto chłopca do szkoły książęcej w Ełku. Wkróce jednak młody Michał, zapewne wiedziony żądzą przygód, opuścił Ełk i udał się do Królewca, gdzie udało mu się dostać do tak zwanej szkoły staromiejskiej. Ciężkie miał tam życie, gdyż nie otrzymując żadnej pomocy z domu służył za pachołka zamożnym studentom, by w ten sposób zarobić na swe utrzymanie. Nic dziwnego, że w takich warunkach nauka jego przeciągała się. Dopiero w 1762 roku rozpoczął studia na wydziale teologicznym uniwersytetu królewieckiego. Ukończył go z odznaczeniem. Tylko język niemiecki przychodził mu zawsze z trudnością i nigdy nie udało mu się go dobrze opanować, nie miał więc szans zostania probooszczem. Znajomość litewskiego ułatwiła mu otrzymanie pracy organisty w Ragnecie, potem awansował na rektora szkoły w Kutach pod Węgorzewem. Przypadek zdarzył, że gościł kiedyś u siebie pruskiego dygnitarza, który zainteresował się nim i dał list polecający do władz konsystorskich, by mianowano Pogorzelskiego proboszczem. Dzięki temu poparciu zyskał polską parafię w Kalinowie.
Pogorzelski roztoczył ojcowską opiekę nad swymi ubogimi parafianami i wkrótce zyskał ich miłość. Brał w obronę krzywdzonych przez obszarników chłopów szlacheckich, starał się wyplenić szerzące się pijaństwo, godził powaśnionych nie dopuszczając do procesów sądowych. Jednocześnie okazał się dobrym gospodarzem parafii. Odnowił zrujnowaną plebanię, wikarówkę i mieszkanie rektora, odrestaurował kościół. Szkoły pozostające pod jego zwierzchnictwem uzyskały pochlebną ocenę superintendenta ełckiego, Tymoteusza Gizewiusza, a sam proboszcz pochwałę.
Naukę w szkołach w całej parafii prowadzono tylko po polsku, w tym też języku głosił Pogorzelski kazania. Kiedy jednak z konsystorza przyszło zarządzanie, że należy kazać w języku niemieckim, zastosował się do nakazu. Kazania jednak były nonsensowne, a jego niemczyzna, wymawiana twardo z mazurska, z akcentem na przedostatniej sylabie brzmiała dla Niemców komicznie. Kiedy usłyszał takie kazanie radca konsystorski, był tak przerażony i oburzony, że zakazał Pogorzelskiemu używać w kościele niemczyzny, miał wrócić do kazań polskich. Ale uparty Mazur, nie mając odwołania na piśmie, dalej kontynuował swoje oracje, które zyskały mu taki rozgłos, że kazania jego w opisach rozchodziły się po całych Prusach, a do Kalinowa z odległych stron przyjeżdżano tłumnie, by go posłuchać. Wreszcie konsystorz zadecydował dać Pogorzelskiemu dymisję. Ten jej jednak nie doczekał. Rażony apopleksją zmarł w kwietniu 1798 roku. Pogrzeb zgromadził liczne rzesze parafian, którzy odczuli boleśnie stratę swojego dobrodzieja. Pochowano go na cmentarzu w Kalinowie, przy ścianie kościelnej obok zakrystii.
Michał Pogorzelski był twórcą pogodnych, żartobliwych pieśni, do których sam układał melodie. Pisał też wiersze, lecz pozostałe po nim zapiski i notatki, nie uporządkowane, zaginęły. Niejedna z jego pieśni zapewne przetrwała w pamięci ludu mazurskiego, ale nazwisko autora poszło w zapomnienie. Według tradycji ustnej do jego utworów ma należeć pieśń weselna zamieszczona w "Nowowydanym kancjonale pruskim" z roku 1913. Przypisuje mu się także autorstwo znanej powszechnie żartobliwej piosenki "A ty moją musisz być".
W wiele lat po śmierci Pogorzelskiego Prusacy, a szczególnie później hitlerowcy starali się wykorzystać postać tego zasłużonego proboszcza kalinowskiego dla swej nacjonalistycznej propagandy.