Sqoop不需要每次都导入整张表。例如,可以指定仅导入表的部分列。用户 也可以在查询中加入WHERE子句,以此来限定需要导入的记录。例如, 如果上个月已经将id为〇~99,999的记录导入,而本月供应商的产品目录 中增加了 1000种新部件,那么导入时在查询中加人子句WHERE id >= 100000,就可以实现只导入所有新增的记录。
用户提供的WHERE子句会在任务分解之前执行,并且被下推至每个任务 所执行的査询中。
转载请注明:全栈大数据 » 15.5.1导入控制
Sqoop不需要每次都导入整张表。例如,可以指定仅导入表的部分列。用户 也可以在查询中加入WHERE子句,以此来限定需要导入的记录。例如, 如果上个月已经将id为〇~99,999的记录导入,而本月供应商的产品目录 中增加了 1000种新部件,那么导入时在查询中加人子句WHERE id >= 100000,就可以实现只导入所有新增的记录。
用户提供的WHERE子句会在任务分解之前执行,并且被下推至每个任务 所执行的査询中。
转载请注明:全栈大数据 » 15.5.1导入控制