简单回答，二者的层级不同。但是单看层级有时候还不足以区分，所以特殊情况下还需要看具体的行政级别。
层级好理解，我国目前的政区级别：省——地——县——乡，其中地级市处于“地”的层级，县级市处于“县”的层级，所以凡满足“隶属于省级（省或自治区）”且“下辖县级（县、县级市、区）”的市就是地级市。凡满足“隶属于地级（地级市、地区、自治州）”且下辖乡级（乡、镇、街道）的市就是县级市。
但特殊情况下以上原则不足以区分，例如：有的市处在“省——市——乡”的情况，比典型的“省——地——县——乡”缺少了一级，那么这个“市”可能是地级，也可能是县级（如果是地级市，那么空缺了县一级；反之如果是县级市，那么空缺了地级）。这时就要考虑其具体的行政级别。
这样的地级市，俗称为“直筒子市”，这样的县级市称为“省直辖县级市”。分别如下：
直筒子市：广东省东莞市、中山市，海南省儋州市、三沙市，甘肃省嘉峪关市
省直辖县级市：河南省济源市，湖北省仙桃市、潜江市、天门市，海南省五指山市、琼海市、文昌市、万宁市、东方市，新疆石河子市、阿拉尔市、图木舒克市、五家渠市、铁门关市、可克达拉市、双河市、胡杨河市、北屯市、昆玉市
