批量查询数据库是否存在某个数据

发布网友发布时间：2022-04-14 17:39

共2个回答

懂视网时间：2022-04-14 22:00

数据分批查询数据前段时间由于线上项目的活动问题，发现向第三方系统请求数据的时候，请求的数据量竟然达到了3w多，请求的数据的方式采用Http请求的形式，事先没有想到会有这么多的数据量，所以只能分批去其他系统请求数据，每次请求200条，具体情况为：在

数据分批查询数据

前段时间由于线上项目的活动问题，发现向第三方系统请求数据的时候，请求的数据量竟然达到了3w多，请求的数据的方式采用Http请求的形式，事先没有想到会有这么多的数据量，所以只能分批去其他系统请求数据，每次请求200条，具体情况为：在数据库中存在一张表，主要字段有user_id(用户名),count(物品数量),系统要求能够实时更行用户的物品数量，但是保存物品数量的接口不在自己的系统中，所以需要想起他的系统请求数据，主要是每次如何获得用户user_id,又不重复。主要学习的是用数据库Sql 语句的学习：

select top 200 user_id from(
		 SELECT 
		 (Row_number()
		  OVER(
		  ORDER BY user_id)) as ix,
		 user_id
			FROM [xxx].[dbo].t_world_cup_exchange_user_flag_list
		 GROUP BY user_id 
		 ) tt
where tt.ix > #{index,jdbcType=VARCHAR}

主要使用数据库函数，Row_number为返回的结果集生成特定的序列号，利用这个函数就能实现每次用200个不同的用户去请求数据，如从0~200,201~401,401~601... ...这样的序列开始选择自己需要的用户Id,当然在自己的程序需要保存这个index游标的值，并且保持能够循环。 --- --- 路漫漫其修远兮，吾将上下而求索

热心网友时间：2022-04-14 19:08

1.通常遇到这种问题，最初步的想法就是循环，读取数据库判断
2.更进一步，由于循环访问数据库导致性能十分低下，是否可以先取出全集，到内存中进行比较，这里需要提醒的是使用HashSet或Dictionary判断是否存在比List性能要高
3.但当全集数据量极大的时候，这种做法可能会导致内存不足，接下来考虑是否能缩小提取的范围
4.提取原始数据时，直接只提取ID在需要比较的列表中，即selectidfromtablewhereidin(需要判断的id结果集)，单数据提取到HashSet，kv的提取到Dictionary
5.提取出in条件的结果集后，与待比较的ID进行对比，取出的结果集中存在的ID，即是已存在的信息，不存在的，就是新增的ID