مکانیزم ایجاد سختی آب بدین صورت است که بخار آب در جو چگالیده شده ،دی اکسید کربن هوا را در خود حل می کند و تشکیل اسید ضعیفی به نام اسید کربنیک می دهد این اسید همراه با قطرات باران به زمین می بارد .از خاک های سطحی عبور کرده و به بسترهای سنگی زیر،زمین که معمولا سنگ آهک می باشند می رسد، سنگ آهک مخلوطی از کربنات کلسیم و منیزیم می باشد اسید ضعیف ،آهک را در خود حل می کند و موجبات سختی آب را فراهم می آورد . منیزیم و کلسیم به عنوان عناصر دو قلوی سختی در جهان شهرت دارند . وظیفه اصلی سختی گیر تبادل یون ها در آب است که همین یون منیزیم و کلسیم را جایگرین نموده و بدین وسیله سختی آب را حذف می نماید.
گرچه سختی آب ناشی ازیون های کلسیم ، منیزیم ، باریم ، هیدروکربنات ، سولفات و نیترات ها آهن منگنز می باشد ولی چون غیر از ترکیبات کلسیم و منیزیم سایر ترکیبات قابل صرفنظرکردن هستند (به دلیل غلظت بسیار کم آنها ) بنابراین اصطلاحا به مجموع کاتیون های کلسیم و منیزیم سختی آب می گویند